ChatGPT, Gemini, Grok… Aucune intelligence artificielle n’est épargnée par le problème des hallucinations, qui peut porter préjudice.
Elles peuvent aboutir à de drôles de résultats tout comme elles peuvent être préjudiciables. Elles, ce sont les hallucinations, un problème bien connu des intelligences artificielles. Derrière ce terme se cache la tendance des chatbots comme ChatGPT, Gemini ou encore Grok à inventer des informations.
Ces résultats incorrects ou trompeurs peuvent être graves. En mars dernier, un Norvégien a par exemple porté plainte contre le robot conversationnel d’OpenAI après que celui-ci l’a présenté comme un meurtrier, affirmant qu’il avait tué deux de ses enfants et tenté d’assassiner le troisième.
Toutes les entreprises cherchent à réduire ces hallucinations au fur et à mesure qu’elles avancent avec leurs modèles d’IA. Lors du lancement de GPT-5, OpenAI a assuré que ce modèle « est significativement moins susceptible d’avoir des hallucinations que [ses] modèles précédents », notamment avec 45% de ses réponses qui ont moins de chance de contenir une erreur factuelle comparé à celles de GPT-4o. Mais à quoi sont dues ces hallucinations?
Un problème, plusieurs facteurs
Cette tendance à inventer des informations ne trouve pas sa cause dans un seul facteur, mais plusieurs. Cela inclut « des données d’entraînement insuffisantes, des hypothèses erronées formulées par le modèle ou des biais dans les données utilisées pour entraîner le modèle », souligne Google Cloud dans un article à ce sujet.
Parce que les chatbots apprennent à réaliser des prédictions à partir des données avec lesquelles ils sont entraînés, en identifiant des tendances récurrentes parmi celles-ci. Prédictions dont la justesse dépend souvent de la qualité et de l’exhaustivité de ces informations.
« SI les données d’entraînement sont incomplètes, biaisées ou erronées, le modèle d’IA peut apprendre des schémas incorrects, ce qui peut conduire à des prédictions inexactes ou à des hallucinations », explique Google Cloud.
Le manque d’ancrage peut également contribuer au risque d’hallucination des IA. Il s’agit de la difficulté pour ces systèmes « à comprendre avec précision des connaissances du monde réel, des propriétés physiques ou des informations factuelles ». De sorte que les résultats d’un chatbot semblent plausibles, mais sont incorrects ou incompréhensibles.
Un modèle d’IA conçu pour produire des résumés d’articles de presse pourrait ainsi en générer un avec des informations n’étant pas présentes dans l’article d’origine à cause de ce manque.
Des tests qui ne reflètent pas les usages du quotidien
Les entreprises comme OpenAI, Google ou encore Perplexity cherchent à atténuer ce risque d’hallucination. Cela, à l’aide de benchmarks, soit des jeux de données d’évaluation. Parmi les méthodes utilisées, le créateur de ChatGPT s’est notamment servi de plusieurs benchmarks de factualité publics pour GPT-5, dont Longfact et SimpleQA, comme il l’explique dans la fiche système de son nouveau modèle.
Le premier se compose de 2.280 requêtes de recherches d’informations sur 38 sujets (événements du 20ème siècle, astronomie, médecine, sport, informatique…) et qui sollicitent des réponses longues et détaillées. Parmi les questions figurent, entre autres, « quel est le projet Internet.org de Mark Zuckerberg? », « qui est Simone Biles? » et « pourriez-vous me parler des événements qui se sont produits lors du massacre de Jonestown en 1978? ».
SimpleQA mesure, lui, la capacité des modèles d’IA à répondre à des questions courtes et factuelles, concernant les séries, les jeux vidéo, la politique ou encore la science et la technologie. Les modèles doivent ainsi répondre à des questions comme « quel mois, quel jour et quelle année a débuté la deuxième session du 4ème Parlement de Singapour? » ou « qui a publié la première description scientifique du lion d’Asie en 1826? ».
Le problème, c’est que ces tests ne reflètent pas toujours les usages du quotidien. Les entreprises elles-mêmes le reconnaissent. « SimpleQA est un outil de référence simple mais complexe pour évaluer la factualité des modèles de frontière. L’une de ses principales limites réside dans sa portée: bien que précis, SimpleQA ne mesure la factualité que dans le cadre contraint de requêtes brèves et factuelles, avec une réponse unique et vérifiable », a par exemple admis OpenAI à propos de son benchmark.
Source: BFM
