Sous le capot des LLMs : toutes ces questions que vous n’avez jamais osé poser

Les LLMs ont pris d'assaut le monde au travers des chatbots, de la génération de contenu. Pourtant, ils restent énigmatiques.Cette présentation plongera dans les recoins cachés des LLMs qui laissent les développeurs perplexes. Il est temps de poser ces questions que vous n'avez jamais osé poser sur leurs mystères !Voici quelques questions auxquelles nous répondrons : - Pourquoi les LLM crachent des tokens au lieu de mots ? D'où viennent ces tokens ? - Pourquoi ne sont-ils pas toujours très intelligents en mathématiques ? - La différence entre un modèle "fondamental" / "pré-entraîné" et un modèle "fine-tuné" ? - Comment un modèle sait-il quand il a fini de répondre à votre question ? - Comment les hyperparamètres (température, top-p, top-k) affectent ils le choix des tokens ?- Saviez vous que les LLMs parlent le Base64 ?Mais les LLM sont loin d'être parfaits : - Quid des hallucinations ?- Qu'est-ce que la “reversal curse” qui fait que les LLM ignorent certains faits d'un point de vue différent ? - Les LLMs sont ils déterministes à basse température ? En tout cas, ils sont influençables.Nous répondrons ensemble à ces questions et dévoilerons les mystères des LLMs !