Imed Magroune, CEA/Irfu/Dedip, présentera ses travaux sur la thématique : "Evolution et Application Avancées : Du transformer à GPT-4 et au-delà"

Résumé : les grands modèles de langages (LLM) ont pris d’assaut le monde. Ces modèles super efficaces et performants constituent les merveilles modernes de l’intelligence artificielle. Avec la capacité de comprendre le contexte, de générer du texte et de converser de manière cohérente, ils seront bientôt le seul moyen de communication avec le monde numérique. Leur influence ne se limite pas au traitement du langage naturel, les architectures de "Transformers" trouvent également des applications croissantes dans la vision par ordinateur (Computer Vision).

Ce séminaire propose un tour d'horizon de l'évolution des LLMs, depuis l'émergence des architectures de "Transformers" et la publication mythique "Attention is All You Need", jusqu'aux modèles de pointe tels que GPT-4, PaLM2, LLaMA2, Orca et Platypus.
Nous aborderons spécifiquement ChatGPT, qui représente l'état de l'art en matière de modèles de conversation, et examinerons l'utilisation de "Code Interpreter" pour la génération et le débogage de code.

Le séminaire inclura également une introduction aux techniques d'ingénierie des prompts, comme le Fine-Tuning, CoT, GoT et Prompt Tuning. Nous présenterons un cas pratique qui illustre comment implémenter et personnaliser un modèle ChatGPT en local sur une carte graphique unique avec des données spécifiques.