Renaud Monnet (CentraleSupélec) "Nous sommes en relation avec l'Education nationale pour que notre IA Aristote soit utilisée au niveau collège et lycée"

Renaud Monnet est le directeur du Digital Lab de CentraleSupélec, à l'origine d'Aristote, une plateforme ouverte basée sur l'IA générative retenue par Gabriel Attal comme l'une des principales IA au service de la fonction publique.

JDN. Sous quelle forme Aristote se présente-t-il ? Quels sont les cas d'usage ?

Renaud Monnet. Le projet Aristote est né en avril-mai 2023 à CentraleSupélec, où une équipe d'étudiants a réfléchi à ce qui pourrait améliorer leur expérience quotidienne grâce à l'intelligence artificielle, notamment les IA génératives, en plein essor avec la vague ChatGPT. Ils ont proposé un premier prototype mettant en évidence des fonctionnalités et une expérience utilisateur qui leur faciliteraient la vie pour réviser des cours et apprendre. L'idée principale est de prendre la vidéo et le support de cours, de les faire traiter par une IA, et de produire un nouvel objet combinant le transcript de la vidéo avec les slides. Ainsi, on obtient le transcript de ce que le professeur a dit pendant qu'il présentait chaque slide. On peut rechercher des mots-clés dans ce transcript et accéder directement au bon endroit, évitant de perdre du temps à chercher en avance rapide dans la vidéo.

De plus, la vidéo peut proposer des quiz générés par l'IA. L'étudiant voit s'il a bien répondu et, en cas d'erreur, revient instantanément au bon endroit dans la vidéo où se trouve la réponse. S'il ne comprend toujours pas, il peut demander une nouvelle explication fournie par l'IA qui reformule les propos de l'enseignant. Nous avons décidé de nous adosser aux plateformes vidéo déjà utilisées dans l'enseignement, telles que Pod (utilisée par 70 universités), Marsha (le produit de France Université Numérique) ou des produits privés comme Ubicast. Aristote sera donc proposé comme un module complémentaire à ces plateformes vidéo.

Le site web, quant à lui, sera réservé aux enseignants pour effectuer leur validation. Les étudiants accéderont aux vidéos enrichies par l'API d'Aristote directement sur leur plateforme vidéo habituelle, où ils retrouveront les contenus produits par leur école ou université, comme les replays de cours ou les capsules vidéo.

Aristote s'adresse-t-il à l'enseignement supérieur uniquement ?

Bien qu'Aristote ait été initialement conçu pour l'enseignement supérieur, nous sommes en train de tester son efficacité sur des vidéos de collège. A priori, les résultats semblent plus prometteurs pour le collège et le lycée que pour l'enseignement supérieur, car les contenus sur lesquels les IA génératives sont entraînées donnent de bons résultats à ces niveaux.

Nous sommes actuellement en relation avec le ministère de l'Education nationale pour qu'Aristote soit utilisé au niveau collège et lycée. Cependant, notre cible initiale reste l'enseignement supérieur, qui présente plus de défis. Nous envisageons de procéder par discipline, car nous observons de meilleurs résultats dans les domaines des sciences humaines au sens large (histoire, sociologie, etc.) que dans les disciplines scientifiques, où les IA éprouvent évidemment plus de difficultés.

La version de Pod intégrant Aristote sortira fin mai. Pod est utilisé à la fois dans les collèges, lycées et dans le supérieur. Cette nouvelle version sera déployée par les 70 universités qui utilisent Pod, selon leur décision. Nous pouvons raisonnablement penser qu'à la rentrée, les 70 universités disposeront de cette version de Pod avec Aristote.

Quels sont les modèles d'IA à l'œuvre derrière Aristote ?

Plusieurs modèles d'IA sont derrière Aristote. Tout d'abord, la transcription de la vidéo est réalisée par Whisper, un modèle open source d'OpenAI. Ensuite, pour l'enrichissement, nous mettons en compétition plusieurs modèles, afin que les enseignants puissent voir quel modèle produit les meilleurs résultats. Actuellement, nous utilisons principalement Mistral 7B, mais nous sommes en train de passer à Mistral 8x7B. De plus, nous avons recours à un modèle évaluateur pour évaluer la qualité des résultats produits par les autres modèles. Nous testons plusieurs modèles pour cette tâche, l'objectif étant que les enseignants puissent nous faire un retour à la fois sur la qualité des contenus générés et sur la pertinence de l'évaluation effectuée par le modèle évaluateur.

Par exemple, pour produire 10 quiz sur une vidéo, nous en ferons générer 100 par les LLM puis nous demanderons au modèle évaluateur de sélectionner les 10 meilleurs. Pour ce modèle évaluateur, nous testons principalement de gros modèles open source tels que Llama ou Mixtral 8x22B. Notre but est d'optimiser l'ensemble du processus, depuis la production jusqu'à l'évaluation, afin de minimiser les ressources serveur nécessaires.

Notre objectif est que tout soit totalement open source et transparent. De plus, les serveurs qui font tourner Aristote sont hébergés sur un cloud souverain. La souveraineté, la maîtrise des données, le respect du RGPD et l'utilisation de technologies open source sont au cœur du projet. Bien que notre prototype d'avril-mai-juin 2023, destiné à définir les usages, l'ergonomie et les bénéfices pour les utilisateurs, s'appuyait sur OpenAI, nous tenons absolument à cette dimension souveraine et open source pour le passage à l'échelle. C'est d'ailleurs ce qui génère le plus de travail et de difficultés. S'il s'agissait simplement de brancher les plateformes vidéo sur OpenAI, ce serait facile à faire et d'autres l'ont déjà fait.

Comment avez-vous travaillé l'IA pour éviter les problèmes de sécurité tels que les hallucinations ou les injections de prompt ?

Nous avons mis en place une architecture basée sur une API robuste. Cette API traite en entrée des contenus bruts tels que des vidéos et des PDF, ce qui rend l'injection de prompts difficile à ce niveau. Nous prenons le contenu brut et le traitons directement, ce qui nous rend assez robustes face à ce type d'attaque.

Concernant les hallucinations, nous avons beaucoup travaillé sur la formulation des prompts jusqu'à présent, afin de demander au modèle de rester dans les limites du contenu fourni. De plus, nous pensons que la technique que nous avons mise en place, qui consiste à faire évaluer les quiz générés par un modèle tiers, permettra d'éliminer les éventuelles hallucinations produites par le modèle générateur.

Quels sont les prochaines étapes de développement ?

Tout d'abord, nous allons fournir une capacité serveur importante pour permettre une montée en puissance rapide et le traitement d'un grand nombre de vidéos. Ensuite, l'échange avec les enseignants sur la qualité des contenus produits sera essentiel. Nous devrons certainement produire et reproduire plusieurs fois les contenus en fonction de leurs retours, dans un processus d'itération.

Dans l'enseignement supérieur, l'adoption de la fonctionnalité se fera essentiellement sur la base du volontariat. Les enseignants qui choisiront d'utiliser Aristote nous permettront d'itérer avec eux. Dès qu'un professeur utilisera les fonctionnalités d'Aristote, nous pourrons observer son activité, les transcriptions et les quiz générés, ainsi que ses retours. Si un professeur fait des commentaires sur un quiz, nous pourrons le recontacter, discuter avec lui et voir comment améliorer les choses pour sa discipline spécifique. Nous sommes vraiment dans une démarche d'amélioration itérative des IA, ce qui nous semble être un travail important et un défi qui nous occupera pendant plusieurs mois, discipline par discipline.