Chat GPT, comme toutes les IA génératives, n'a aucune intelligence. Le logiciel se contente de deviner le mot suivant le "prompt", puis le mot suivant, etc., en se basant sur une immense base donnée contenant des textes sur Internet.

Cette IA, comme toutes les IA génératives, est sujette à des "hallucinations" qui lui font parfois écrire des choses incohérentes ou carrément fausses. Le problème est qu'il est impossible de savoir quant cela arrivera, ni de l'éviter.

cf. la très bonne vidéo # Ce qui se cache derrière le fonctionnement de ChatGPT (video Youtube) en français qui plus est...

Même si l'on peut coder des machines intelligentes pour qu'elles croient objectivement certaines choses et agissent d'une certaine manière, la conception doit tenir compte d'absolument tout, car si quelque chose est omis, les choses pourraient mal tourner. « Si cette "fonction d'objectif" omet d'inclure certains paramètres, on constate qu'elle est souvent réglée sur des valeurs extrêmes ».

Pour illustrer ce qui peut arriver si l'on omet certains paramètres ou si l'on n'y pense tout simplement pas, pensez au mythe du roi Midas, qui souhaitait que tout ce qu'il touche de ses mains se transforme en or :

Son souhait fut exaucé... Mais Lorsqu'il toucha sa fille, elle se transforma en or, lorsqu'il toucha sa nourriture, elle se transforma en or... finalement il mourut de faim, désespéré, et entouré d'or ! (Dans une autre version, le dieu Dionysos conjure le sort en lui demandant se laver les mains dans le fleuve Pactole !) Midas n'avait pas correctement rédigé son prompt, car il avait oublié de prévoir des exceptions : il fallait souhaiter que "tout ce que je touche se transforme en or, sauf s'il s'agit de nourriture, d'une personne, etc."

C'est tout l'art de la création de prompts pour les IA. Leur configuration est difficile, et en programmant une IA nous devrions nous assurer quelle fera ce que nous lui demandons, mais surtout qu'elle ne fera pas ce que nous ne voulons pas ! Et cette (très longue) liste est généralement oubliée...

Le problème est similaire à celui de la « théorie du trombone », selon laquelle une IA est codée dans le seul but de produire des trombones. Lorsqu'on lui donne un objectif aussi précis et aucune règle sur ce qu'elle ne doit pas faire, l'IA pourrait finir par endommager des objets ou des personnes simplement pour continuer à fabriquer des trombones, sans se soucier des dommages qu'elle pourrait causer. cf. L'horreur existentielle de l'usine à trombones. (video Youtube)