Data & AIConference45min
A la découverte de la famille des modèles BERT
Ce texte présente BERT, un modèle de langage pionnier de Google, et explore son architecture basée sur les transformers, ainsi que ses techniques d'entraînement (MLM et NSP). Il illustre ses applications avec des modèles pré-entraînés dans Keras Hub pour détecter des catastrophes dans les tweets et inférer des relations sémantiques.
Alexia Audevartdatactik
talkDetail.whenAndWhere
Thursday, April 17, 11:35-12:20
Paris 241
Pionnier des grands modèles de langage (LLM), BERT, développé par Google en 2018, a ouvert de nouvelles perspectives dans le domaine du NLP et est aujourd’hui considéré comme la base de nombreuses avancées en traitement automatique du langage.Nous déconstruirons son architecture fondée sur les transformers puis, nous plongerons dans les détails de son entraînement : masquage de mots (Masked LM - MLM) et prédiction de la phrase suivante (NSP - Next Sentence Prediction).Nous illustrerons ses capacités à travers deux cas d'usage en utilisant des modèles pré-entrainés disponible dans Keras Hub :la détection de catastrophes dans des tweets,l'inférence de relations sémantiques entre des paires de phrases (implication/contradiction/neutralité de textes multilingues avec le jeu de données "Elémentaire, mon cher Watson")RoBERTa, CamemBERT, FlauBERT, DistilBERT n'auront plus aucun secret pour vous !
Alexia Audevart
Alexia Audevart est “Data Enthusiast” et fondatrice de la société datactik. Elle baigne dans la donnée sous toutes ses formes : Big Data, Data Science, Data Visualisation, Machine Learning, Deep Learning, Intelligence Artificielle, etc.
Quand elle n’accompagne pas ses clients dans la valorisation de leurs données, elle partage ses connaissances en animant des formations, en écrivant des livres ou en donnant des conférences. Depuis 2019, elle a rejoint la communauté des Google Developer Expert Machine Learning.
Son premier livre est une collaboration sur l'intelligence artificielle et les neurosciences ("Apprendre demain" - édition Dunod). Son second ouvrage, plus technique, aborde le Deep Learning ("Machine Learning using TensorFlow cookbook" - édition Packt).
Quand elle n’accompagne pas ses clients dans la valorisation de leurs données, elle partage ses connaissances en animant des formations, en écrivant des livres ou en donnant des conférences. Depuis 2019, elle a rejoint la communauté des Google Developer Expert Machine Learning.
Son premier livre est une collaboration sur l'intelligence artificielle et les neurosciences ("Apprendre demain" - édition Dunod). Son second ouvrage, plus technique, aborde le Deep Learning ("Machine Learning using TensorFlow cookbook" - édition Packt).
talkDetail.shareFeedback
talkDetail.feedbackExpired
talkDetail.feedbackPeriodExpired
occupancy.title
occupancy.votingClosed
occupancy.votingWindowExpired
comments.speakerNotEnabledComments