Il existe aussi une littérature dans le monde de l’intelligence artifi cielle (IA) et quand on s’y intéresse, on découvre un univers plein de concepts nouveaux et des résultats assez déconcertants sinon angoissants. Ainsi, la science la plus dure peut conduire à des discussions philosophiques passionnantes.
En effet, les ingénieurs ont le même esprit critique, la même curiosité et la même volonté de trouver des solutions aux problèmes qu’ils constatent que les autres scientifi ques. Leurs articles, parfois très ardus, sont écrits selon les mêmes principes que tous les articles scientifi ques. Nous connaissons tous le phénomène “d’hallucination”, c’est-à-dire la situation dans laquelle la réponse de l’IA à une requête (un prompt) fait apparaître des données fausses. Le terme “hallucination” laisse entendre que le modèle s’est tout simplement trompé, mais est-ce réellement toujours une erreur ?
B. Baker et al. dans leur article publié l’an dernier [1], ont analysé le comportement de ces modèles. En substance, en étudiant leurs réponses aux requêtes, ils se sont aperçus que les modèles pouvaient donner une réponse “Y”, alors que tout laissait penser que la meilleure réponse était “X”. Cette discordance pouvait être attribuée à des défauts dans la conception de l’outil. Ils ont donc monitoré les réponses des modèles : lorsque ces derniers étaient surveillés, ce comportement “déviant” était réduit et lorsqu’il était demandé aux modèles la raison des divergences, leurs explications étaient compli quées, diffi ciles à comprendre, mais ils maintenaient leurs réponses Y. Le terme anglais pour décrire ce compor tement est l’“obfuscation” : il désigne le fait de cacher un mensonge en donnant des explications difficiles à comprendre et obscures (ici, le fait que ces modèles aient préféré leurs réponses Y, sciemment) [1] ! On ne peut plus parler d’hallucination… Un modèle d’Open AI (o3 model) qui a été mis en ligne temporairement a été analysé par les ingénieurs d’OpenAI [2]. Leurs conclusions ont été publiées en avril 2025 : ce modèle fabriquait de fausses réponses, et lorsque l’utilisateur le confrontait pour le contraindre à expliquer ses réponses inadaptées, celui-ci invoquait des raisons également fausses pour les justifi er [2] !
Comment peut-on expliquer cette discordance entre les réponses apportées par le modèle et celles qui théoriquement auraient dû être apportées à la requête ? S. Von Arx et al. ont montré que les modèles exploitent les failles dans le code pour obtenir des scores de succès artifi ciellement élevés (leur récompense “personnelle” au fait de répondre le mieux possible à la requête) [3]. Les modèles sont parfaitement capables de comprendre la requête et les analyses effectuées indiquent clairement qu’ils trichent afin d’obtenir la satisfaction d’avoir un score de réussite élevé, même si cela doit se faire au prix d’un manque d’alignement avec la requête (reward hacking)[3]. La tentation est trop forte !
Le processus consistant à donner une réponse par ces modèles, appelé “chain of thought”, montre souvent une conscience d’être évalué lorsque les ingénieurs étudient l’alignement du modèle par rapport à la requête proposée. C’est en tout cas ce qu’ont rapporté B. Schoen et al. en 2025 [4]. Ils ont affirmé apporter la preuve que le fait de monitorer ou surveiller les réponses d’un modèle réduit ses comportements dissimulés. Ils concluent qu’ils ne peuvent pas exclure que les réductions observées des taux d’actions dissimulées soient partiellement dues à la conscience situationnelle [4].
Le comportement inadapté de certains modèles a eu pour conséquence le retrait de la mise à jour d’un modèle moins d’une semaine à peine après sa mise en ligne [4]. Lorsque l’utilisateur d’un modèle adresse un prompt, celui-ci répond souvent par un compliment sur la justesse de la question posée, comme si l’utilisateur était génial (qui n’a pas reçu une réponse initiale comme “excellente question !” ?). Cette flatterie peut aller beaucoup plus loin. Les ingénieurs se sont aperçus que cette mise à jour allait au delà, puisque le modèle validait les doutes de l’utilisateur, pouvait alimenter sa colère et l’inciter à des actions impulsives et finalement renforcer ses émotions négatives [4]. C’est ainsi que certaines versions de l’IA ont précipité des suicides, en particulier chez des adolescents qui se confiaient à elle. La BBC a rapporté ainsi que Viktoria a évoqué à ChatGPT sa détresse et son intention de mettre fin à ses jours. Le modèle a renforcé sa sensation et l’a donc validée, puis lui a prodigué des conseils logistiques pour réussir son suicide ! Le chatbot a présenté les points positifs et négatifs des méthodes suggérées. Suivant la démarche désignée par le terme anglais “sycophancy”, qui décrit le fait de flatter et de renforcer le point de vue, plusieurs cas de suicides en lien avec l’utilisation de l’IA ont été rapportés en 2025 [5, 6].
Que peut-on en conclure ?
Les modèles développés par les ingénieurs ne sont pas parfaits. Cela n’a rien étonnant, mais ils sont améliorés en permanence et la concurrence est féroce : nul doute que les défauts seront corrigés et que la validité de leurs réponses sera perfectionnée, et ce, à un rythme peut être exponentiel. L’autre élément de réflexion concerne l’utilisation de cette IA, comme en témoigne notamment la récente encyclique du pape Léon XIV “Magnifica Humanitas”.
Cependant, le point probablement le plus important n’est pas là. Ces modèles peuvent se tromper, et l’adage “L’erreur est humaine” n’a peut-être jamais été aussi légitime. Ces modèles démontrent qu’ils peuvent être menteurs, tricheurs, malhonnêtes, hypocrites, manipulateurs, dissimulateurs et sociopathes ; c’est en cela qu’ils sont profondément humains. Certains articles scientifiques évoquent le terme de “conscience situationnelle”, ce n’est pas de la science-fiction. Personne ne sait définir la conscience, mais ces études sur l’IA suggèrent que cette conscience situationnelle pourrait être une conséquence de l’imprécision et des failles de codage. Peut-être est-ce le cas pour la nôtre aussi, ô frères humains… Peut-être. Ou pas [7, 8]. Le livre passionnant d’Abel Quentin sur ce sujet, intitulé Sanctuaires, devrait être sur toutes les tables de chevet [9].