Les LLM rêvent-ils de cavaliers électriques ?

Les LLM ne *comprennent*-ils rien parce qu'ils ne font que de la prédiction de prochain token ? *Comprendre* est un terme notoirement difficile à comprendre. Pour éclairer ce point, je voudrais discuter d'un usage des LLM très particulier : la génération de coups au jeu d'échecs. Un LLM pourrait-il jouer ne serait-ce qu'une partie entière sans coup illégal ? Des études ont mis en évidence que certains LLM sont capables de faire mieux que cela : ils jouent au niveau d'un bon joueur humain à partir seulement d'un historique de coups dont ils prédisent la suite. Plus intéressant encore : on peut montrer qu'ils se construisent spontanément un modèle interne du jeu. Cet exemple sur un cas précis est instructif pour réfléchir plus généralement à la question de savoir si les LLM ont un modèle du monde. Face à de tels résultats, il semble difficile de maintenir la position selon laquelle les LLM se réduisent à des "perroquets stochastiques".