ChatGPT : les dernières innovations de l’intelligence artificielle

Cet article a été publié au printemps 2023, quelques mois après l'ouverture de ChatGPT au public. Le relire aujourd'hui est instructif : la moitié de ce qu'on écrivait alors sur cette machine était faux, et on peut dire précisément quoi.

Le texte d'origine parlait d'une technologie appelée intelligence contextuelle, d'un chatbot qui se souvient de vos demandes, d'une fusion entre les travaux d'OpenAI et ceux de Microsoft. Trois affirmations, trois erreurs. Ce n'était pas de la malveillance : personne ne savait vraiment de quoi il parlait au premier trimestre 2023, et les communiqués de presse tenaient lieu de documentation. Reprenons dans l'ordre.

Ce qu'est réellement un modèle de langage

Un modèle de langage prédit le mot suivant. C'est tout, et c'est déjà énorme. Entraîné sur d'immenses volumes de texte, il apprend des régularités statistiques si fines qu'à l'usage la prédiction ressemble à du raisonnement. Rien dans ce mécanisme ne relève de la compréhension au sens où nous l'entendons, et rien non plus ne l'empêche de produire des réponses utiles.

La conséquence pratique est mal comprise, encore aujourd'hui : ces modèles inventent. Quand la donnée manque, la machine ne se tait pas, elle produit la suite la plus vraisemblable. On appelle ça une hallucination, et c'est une propriété du procédé, pas un défaut de jeunesse qu'une mise à jour effacerait. Un chiffre, une date, une référence juridique sortie d'un modèle de langage se vérifie toujours ailleurs.

La chronologie, celle-ci est vérifiable

GPT-1 sort en 2018, GPT-2 en 2019, GPT-3 en juin 2020. Ces trois modèles restent des objets de laboratoire, accessibles aux développeurs via une interface de programmation. La bascule date du 30 novembre 2022 : OpenAI met en ligne une simple fenêtre de discussion, gratuite, sans inscription compliquée. Le produit s'appelle ChatGPT et repose alors sur GPT-3.5.

Deux mois plus tard, les estimations parlaient de cent millions d'utilisateurs mensuels, ce qui en faisait l'application grand public à la croissance la plus rapide jamais observée. En février 2023, OpenAI lance un abonnement payant à vingt dollars par mois. Le 14 mars 2023, GPT-4 arrive. C'est exactement le moment où l'article d'origine a été écrit, et il ne le mentionne pas : le magazine y consacrait un texte séparé sur la capacité annoncée de GPT-4 à produire du texte, des images et de la vidéo.

Zo, Tay et la mémoire courte du web

L'article d'origine présentait Zo comme l'agent conversationnel de Microsoft, au présent. Zo avait été fermé en juillet 2019, quatre ans plus tôt. Il succédait lui-même à Tay, un robot lancé sur Twitter en mars 2016 et débranché en moins de vingt-quatre heures après avoir été détourné vers des propos racistes par des utilisateurs coordonnés. Cette histoire-là mérite d'être retenue : elle a durablement rendu les grandes entreprises prudentes sur les agents laissés en liberté.

Quant à l'idée d'une fusion entre les technologies d'OpenAI et de Microsoft, elle confond partenariat et produit. Microsoft a investi dans OpenAI, hébergé son infrastructure sur Azure et intégré ses modèles dans Bing puis dans sa suite bureautique. ChatGPT n'a jamais été un mélange de deux moteurs, c'est un produit OpenAI qui tourne sur des machines Microsoft.

Non, il ne se souvenait pas de vous

Le texte de 2023 affirmait que le robot se souvenait de vos demandes d'une fois sur l'autre. Faux à l'époque. Chaque conversation repartait de zéro, et à l'intérieur d'une même discussion le modèle ne gardait qu'une fenêtre limitée de texte, quelques milliers de mots au mieux. Au-delà, le début glissait hors du champ. Beaucoup d'utilisateurs de ce printemps-là ont pris pour de la mémoire ce qui n'était que la relecture, à chaque tour, de l'ensemble de la conversation en cours.

La partie où le modèle parle de lui-même

L'article original consacrait un tiers de sa longueur à recopier les réponses de ChatGPT à des questions comme « parle-moi de toi » ou « quand es-tu né ». Ces passages n'ont aucune valeur documentaire. Un modèle de langage ne dispose d'aucune information privilégiée sur sa propre architecture : il produit sur ce sujet le texte le plus plausible au vu de ce qu'il a lu, exactement comme sur la cuisine italienne ou la Révolution française.

Le cas est même particulièrement piégeux. Interrogé sur sa version, un modèle se trompe souvent, parce que sa réponse dépend surtout de ce que ses concepteurs lui ont fait dire dans ses consignes de départ. La seule source fiable sur un modèle reste la documentation de l'éditeur, avec sa date.

Ce qui, en 2023, était déjà exact

Tout n'était pas à jeter dans le texte d'origine. L'idée qu'un service client puisse répondre instantanément et en plusieurs langues s'est vérifiée, et c'est même l'usage professionnel qui s'est installé le plus vite. La rédaction de brouillons, la reformulation, la traduction et le résumé de documents longs sont devenus des tâches ordinaires dans beaucoup de bureaux.

La promesse d'un assistant qui s'adapte à chaque utilisateur s'est réalisée elle aussi, mais par un autre chemin que celui décrit alors : pas par un apprentissage automatique au fil des conversations, par la possibilité donnée à chacun de fournir des consignes permanentes et des documents de référence.

L'angle mort de 2023 : les données

Presque aucun article de ce printemps-là ne posait la question du texte utilisé pour entraîner ces modèles, ni de celui que les utilisateurs y déversaient. Elle est pourtant arrivée très vite. Le 31 mars 2023, l'autorité italienne de protection des données, le Garante, a bloqué l'accès à ChatGPT sur son territoire, en invoquant l'absence de base légale pour la collecte et l'absence de vérification de l'âge. Le service est revenu en Italie le 28 avril, après plusieurs correctifs dont la possibilité de refuser que ses conversations servent à l'entraînement.

Cet épisode a fixé une règle simple dans beaucoup d'entreprises françaises : on ne colle pas dans une fenêtre de discussion un contrat client, un fichier de paie ou un document sous accord de confidentialité. Certaines directions ont d'abord interdit l'outil, puis ouvert un accès professionnel avec engagement contractuel de non-réutilisation des données. Deux ans plus tard, c'est ce compromis qui domine.

Comment lire un article sur l'intelligence artificielle

Trois réflexes suffisent, et ils valent pour n'importe quel texte technologique. Regarder la date de publication, en haut de la page : dans ce domaine, un article de dix-huit mois est une pièce d'archive. Vérifier que les noms de produits et de versions sont datés eux aussi, faute de quoi on ne saura jamais de quoi parle l'auteur. Se méfier enfin des articles sans un seul chiffre : la prudence y remplace le travail de vérification.

Le nôtre, dans sa version de mars 2023, ratait les trois : aucune date à l'intérieur du texte, des noms de produits jetés sans version ni année, et pas un seul chiffre vérifiable en dehors de ceux que la machine avait fournis sur elle-même. Nous le laissons en ligne corrigé plutôt que supprimé, parce qu'il documente assez bien ce qu'on racontait à ce moment-là, et parce qu'un article effacé n'apprend rien à personne.