Atul Deo (Amazon) "Les clients d'Amazon Bedrock peuvent désormais importer leurs propres modèles de langage privés sur la plateforme"

Atul Deo, directeur général d'Amazon Bedrock, annonce ce mardi 23 avril une mise à jour majeure du service.

JDN. Vos clients peuvent désormais utiliser leurs propres modèles depuis Bedrock. Quels nouveaux cas d'usage voyez-vous avec cette possibilité ?

Atul Deo. Certains développeurs recherchent simplement des modèles prêts à l'utilisation, qui sont facilement accessibles. Cependant, il y a aussi des applications plus complexes, où des équipes de data science ont effectué un travail avancé sur des modèles open source comme Lama 3, Lama 2 ou Flan T5 et les ont personnalisés de manière approfondie, allant au-delà du simple fine-tuning standard. Bien que Bedrock prenne déjà en charge la personnalisation, ces développeurs souhaitent avoir plus de contrôle et effectuer des personnalisations plus complexes. Le problème est alors de devoir gérer eux-mêmes l'infrastructure pour faire tourner ces modèles personnalisés.

Avec la possibilité d'importer leurs propres modèles sur Bedrock, ces clients n'ont plus à se soucier de l'infrastructure, car leur modèle personnalisé est disponible de manière serverless sur la plateforme. Ils peuvent également utiliser ce modèle personnalisé dans le cadre de la même API que les autres modèles, facilitant l'intégration pour les développeurs, et exploiter leur modèle personnalisé avec tous les outils et fonctionnalités de la plateforme Bedrock. Cela rend cette possibilité très attractive pour les clients qui ont investi dans le développement de modèles.

Tous les types de modèles privés peuvent-ils être déployés sur Bedrock ou y a-t-il des limitations ?

Tous les types de modèles privés ne peuvent pas être déployés sur Bedrock. Il y a deux nuances à prendre en compte. Premièrement, ces modèles personnalisés sont destinés à une utilisation interne par les entreprises qui les ont développés. Ce n'est pas le cas de n'importe quel modèle que n'importe quelle entreprise pourrait construire et envoyer sur Bedrock pour une utilisation publique. Deuxièmement, il s'agit spécifiquement de modèles personnalisés à partir d'architectures et de modèles open source populaires (Flan-T5, Llama et Mistral, ndlr). Dans l'environnement actuel, les entreprises ont tendance à utiliser ces modèles de base open source comme point de départ pour les personnaliser selon leurs besoins, plutôt que de construire leurs propres modèles à partir de zéro. Ce sont ce type de modèles personnalisés que les clients peuvent maintenant importer dans la Bedrock.

Vous mettez également à disposition de vos clients un outil leur permettant d'évaluer les performances de différents modèles d'IA en fonction de leurs cas d'usage spécifiques. Comment cette fonctionnalité de benchmarking va-t-elle concrètement se traduire ?

L'outil d'évaluation des performances des modèles mis à disposition par Bedrock offre trois principales fonctionnalités : premièrement, il permet une approche traditionnelle d'évaluation manuelle, où les utilisateurs peuvent exécuter des invites et comparer directement les résultats de différents modèles côte à côte. Bien que cette méthode ne soit pas évolutive, elle permet parfois une évaluation "à l'œil nu" utile. Deuxièmement, l'outil propose une approche d'évaluation automatisée. Les clients peuvent sélectionner les modèles à tester, spécifier leurs jeux de données publiques et privés, et l'outil va alors exécuter ces modèles sur les invites et générer un rapport indiquant quel modèle semble le plus adapté selon certaines métriques.

Troisièmement, l'outil permet également une évaluation humaine. Les entreprises peuvent mettre en place des équipes internes qui vont noter les différents modèles selon leurs propres critères subjectifs. Cela est parfois nécessaire car les évaluations automatiques peuvent ne pas saisir certains aspects qualitatifs des réponses des modèles. En combinant ces trois approches - manuelle, automatisée et humaine - l'outil d'évaluation de Bedrock fournit aux clients une analyse complète des performances de différents modèles dans le contexte de leurs cas d'utilisation spécifiques.

Amazon Bedrock vise-t-elle à offrir une solution complète, du test à la mise en production des modèles d'IA, ou vous concentrez-vous principalement sur l'opérationnalisation et le déploiement de ces modèles ?

Amazon Bedrock ne se concentre pas uniquement sur l'opérationnalisation et le déploiement des modèles d'IA, mais vise à offrir une solution complète, du test à la mise en production. L'objectif est d'accompagner les développeurs tout au long du cycle de vie, depuis les tests et les preuves de concept initiales jusqu'au déploiement final en production. Beaucoup de gens commencent par faire des tests et des prototypes, avant de finalement passer à la production. Bedrock cherche à faciliter ces différentes étapes, permettant aux développeurs d'expérimenter et de déployer rapidement leurs applications en production.

L'expérimentation est en effet cruciale pour créer quelque chose de performant. Bedrock ne veut donc pas exclure cette phase de test et d'itération, mais au contraire, offrir une plateforme qui prend en charge l'ensemble du processus, de l'expérimentation jusqu'à l'opérationnalisation en production.

Qu'est-ce qui différencie Amazon Bedrock de solutions concurrentes comme Azure OpenAI ? Pourquoi une entreprise devrait-elle préférer Bedrock ?

Tout d'abord, Bedrock donne accès à certains des modèles les plus performants du marché, comme ceux développés par Anthropic. Cela constitue un atout majeur. Ensuite, Bedrock offre un choix de modèles sans précédent. L'équipe croit fermement qu'aucun modèle ne doit dominer, c'est pourquoi la plateforme propose une grande diversité de modèles. De plus, Bedrock permet aux clients d'importer et d'utiliser leurs propres modèles personnalisés, une fonctionnalité unique parmi les fournisseurs.  Troisièmement, Bedrock fournit un ensemble complet d'outils et de capacités permettant aux développeurs de construire et de déployer rapidement des applications d'entreprise alimentées par l'IA générative. L'objectif est d'offrir une plateforme complète du test à la production.

Enfin, la question de la sécurité et de la confidentialité des données est cruciale. Amazon Bedrock est conçu comme un service "opt-out" : aucune donnée client n'est stockée ou utilisée à des fins d'entraînement, ce qui rassure grandement les entreprises.

Avez-vous l'intention de développer de nouveaux modèles de langage en interne chez Amazon, ou allez-vous vous concentrer uniquement sur l'intégration et le déploiement des modèles existants, comme ceux d'Anthropic ?

Amazon Bedrock ne se concentre pas uniquement sur l'intégration et le déploiement des modèles existants, comme ceux d'Anthropic. La stratégie est plus large. Bedrock propose déjà une gamme diversifiée de modèles provenant de différents partenaires comme Meta, Cohere, Stability AI, AI21 et bien sûr Anthropic. Au-delà de ces modèles de partenaires, nous prévoyons également de continuer à investir dans le développement de ses propres modèles en interne. Récemment, nous avons par exemple lancé son propre modèle d'embeddings (Amazon Titan Text Embeddings V2).