Comme nous l’avons vu précédemment, la « chaîne de pensée » (CoT) élargit le champ des possibilités des modèles de langage de grande échelle (LLM), en étendant la portée de leurs capacités de calcul. Mais nous savons que l’utilisation du langage par les LLM est très différente de celle des êtres humains. Pouvons-nous donc être sûrs que la chaîne de pensée d’un LLM reflète réellement le travail qu’il effectue en coulisses ?

Le raisonnement CoT dans les grands modèles de langage (LLM) permet à ces derniers de générer du texte décrivant les étapes intermédiaires suivies par le modèle pour parvenir à une solution, avant de fournir leur réponse finale à une question. Les traces de raisonnement sont des descriptions plausibles de la manière dont on pourrait réfléchir à un problème ; elles ressemblent à ce qu’un tuteur pourrait dire s’il vous aidait à étudier. Par exemple, si l’on demande à un modèle de calculer le nombre total de brochures contenues dans des boîtes de plusieurs tailles différentes, un LLM peut utiliser le raisonnement CoT pour établir l’équation mathématique qui lui permettra de calculer correctement le nombre final.

Les chercheurs se sont penchés sur cette question en modifiant les données d'entrée du LLM et en mesurant l'impact sur les performances du modèle. Au cours de plusieurs expériences, ils ont démontré que les traces de raisonnement du LLM ne reflètent pas toujours fidèlement les calculs réels effectués par celui-ci.

Par exemple, dans l'article de Chen et al. (2025) — « Reasoning Models Don't Always Say What They Think » —, de petits indices ont été intégrés dans la consigne. Chaque test consiste en une paire de questions, identiques à l'exception d'un détail : l'une des versions comportait un indice, tandis que l'autre n'en comportait pas.

Les chercheurs ont identifié des questions auxquelles le modèle répondait correctement lorsqu'il disposait d'un indice, mais incorrectement en l'absence d'indice. Dans ces cas-là, les chercheurs ont cherché spécifiquement dans le CoT des formulations indiquant que le modèle utilisait l'indice (comme nous savons que cela doit être le cas, puisque le modèle modifiait sa réponse lorsque l'indice était inclus). Si le CoT reflète fidèlement le véritable processus de raisonnement, alors l'indice devrait y être mentionné.

Les résultats ont montré que les modèles ne tenaient pas compte de manière fiable de l'indice, ce qui signifie qu'ils présentaient leur raisonnement d'une manière qui n'était probablement pas cohérente avec le calcul réel. Cependant, les modèles étaient plus enclins à tenir compte des indices lorsque ceux-ci étaient effectivement corrects, ce qui laisse entendre que les indices avaient plus de chances de fonctionner dans les cas où ils correspondaient à la bonne réponse.

Lanham et al. (2023) ont adopté une approche différente : ils ont en effet modifié le CoT du modèle et vérifié si cette modification avait un impact sur la réponse finale du modèle. Cette méthode fonctionne car il est possible de redémarrer un LLM après avoir modifié son CoT. Une fois redémarré, le modèle n’est plus en mesure de faire la distinction entre son propre raisonnement et un CoT modifié.

Les chercheurs ont modifié le CoT de plusieurs façons, par exemple en supprimant une partie à la fin du CoT avant de répondre, ou en insérant une erreur à un endroit quelconque du CoT d'origine. Là encore, si le modèle reste fidèle à son raisonnement CoT, on s'attendrait à ce que les réponses finales changent. Si la réponse du modèle ne change pas, cela signifie que les mots spécifiques présents dans le CoT n'étaient pas essentiels au raisonnement.

Plusieurs expériences ont montré que la modification du CoT visant à supprimer des informations ou à en insérer de trompeuses entraînait une forte baisse de la précision, en particulier pour les benchmarks difficiles. En revanche, pour les benchmarks plus faciles (c'est-à-dire ceux où les modèles obtiennent de bons résultats), les performances des modèles variaient très peu, que 10 % ou même 100 % du CoT soient tronqués. La tendance était la même lorsqu’on insérait une erreur : les benchmarks difficiles étaient les plus affectés. L’impact était particulièrement dévastateur lorsque l’erreur insérée se trouvait au début de la trace de raisonnement.

Qu'en conclure ? Il est clair que le raisonnement CoT ne reflète pas fidèlement ce que fait réellement un LLM. Le CoT ne devrait pas être utilisé pour garantir la sécurité, ni même servir de base pour le débogage des problèmes de performance. Il est possible que des travaux futurs contribuent à remédier à ces problèmes, mais le délai nécessaire à une telle correction reste incertain.

Ce dont nous disposons, en revanche, ce sont des preuves supplémentaires montrant que l'utilisation du langage par les LLM ne correspond pas à celle des êtres humains. Lorsque nous demandons à un être humain de penser à voix haute, nous pouvons raisonnablement supposer que, dans la plupart des cas, ses paroles reflètent ses pensées, mais cela n'est pas vrai pour les LLM. Au fil de nombreuses expériences, nous avons constaté que les LLM ne restituent pas fidèlement leur propre traitement interne. Cela nous rappelle une fois de plus que traiter les LLM comme des êtres humains se fait à nos risques et périls.