Masterclass 3

​Synopsis: En 2017, le modèle transformer est devenu une innovation majeure dans la recherche en Natural Language Processing (NLP), ce modèle est rapidement devenu la norme et a rendu les autres modèles obsolètes. Avant cela, les références en NLP, surtout pour les modèles de séquence ou de langage, étaient les réseaux de neurones récurrents (RNNs), les réseaux récurrents à mémoire court et long terme (LSTM), les réseaux récurrents à portes (GRU). Ce modèle Transformer a rendu possible la création de modèles NLP massifs d'une taille et d'une performance impossible à imaginer il y a quelques années. Ces modèles massifs ont permis non seulement d'atteindre des nouveaux pics de performance dans des tâches NLP classiques, mais aussi de révolutionner chaque champ d'application. Par exemple GPT-3 est utilisé pour générer du texte réaliste, GitHub Co-Pilot est utilisé pour générer du code, Alpha Fold 2 est utilisé pour étudier la structure des protéines en biologie, Tesla Autopilot est utilisé pour développer la voiture autonome, Dall-E 2 ou Stable Diffusion sont utilisés pour générer des images à partir d'une description textuelle. Finalement Whisper est utilisé pour convertir l'audio en texte pour plus de 30 langues. Dans cette masterclass, nous découvrirons d'abord comment le modèle est apparu et le secret derrière sa haute performance. Nous apprendrons comment nous pouvons bénéficier de cette recherche et les applications en sciences sociales, avec des exemples concrets.