OpenAI a publié cette semaine une étude importante, réalisant une analyse systématique des causes fondamentales du phénomène illusion généré par les grands modèles linguistiques. Cette étude indique que les processus d'entraînement et d'évaluation actuels tendent à récompenser les suppositions des modèles plutôt qu'à encourager la reconnaissance de l'incertitude, ce qui est un facteur clé menant à la génération erronée d'informations par l'IA.
L'illusion de l'IA désigne le phénomène où un modèle génère des déclarations qui semblent logiques mais qui sont en réalité erronées, un problème qui devient un obstacle à la confiance totale des utilisateurs envers les systèmes d'IA. OpenAI définit clairement l'illusion comme La situation où un modèle génère avec confiance des réponses irréelles., et même avec des modèles récents comme GPT-5, le phénomène d'illusion persiste.
Dans une étude, le premier auteur de l'article, Adam Tauman Kalai, a effectué des tests et a découvert que différents chatbots, lorsqu'ils étaient interrogés sur le titre de leur thèse de doctorat, donnaient tous avec assurance des réponses incorrectes. Cela met en lumière la généralité de ce problème.
L'équipe d'OpenAI a découvert que les méthodes d'évaluation actuelles établissent de faux mécanismes d'incitation, ce qui contribue à la persistance du phénomène d'hallucination. Les chercheurs soulignent que la plupart des méthodes d'évaluation des performances des modèles poussent ceux-ci à faire des suppositions, plutôt qu'à affronter honnêtement l'incertitude.
C'est similaire à un test à choix multiples : si vous ne connaissez pas la réponse mais que vous devinez au hasard, vous avez quand même une chance de réussir ; tandis que choisir de ne pas répondre vous garantit un score de zéro. Par conséquent, lorsque le modèle est évalué uniquement sur la précision, cela encourage la conjecture plutôt que de reconnaître Je ne sais pas.
Des recherches montrent que, parmi des milliers de questions testées, les modèles qui adoptent une stratégie de conjecture finissent par surperformer sur le tableau des scores, par rapport aux modèles qui reconnaissent prudemment leur incertitude. OpenAI mentionne qu'abandonner une réponse fait partie des indicateurs d'humilité, et que l'humilité est l'un des valeurs fondamentales de l'entreprise.
Bien que le phénomène des hallucinations soit toujours présent, le tout dernier GPT-5 d'OpenAI a réalisé des progrès significatifs dans la réduction de ces hallucinations. Selon les données de la carte système de GPT-5, le taux d'hallucinations du nouveau modèle a diminué d'environ 26 % par rapport à GPT-4o et a montré des performances exceptionnelles dans plusieurs évaluations.
Dans les tests LongFact-Concepts et LongFact-Objects, le taux d'illusion de GPT-5 n'était que de 0,7 % et 0,8 %, bien inférieur à celui de l'OpenAI o3 qui atteignait 4,5 % et 5,1 %. Dans des contextes à haut risque comme les requêtes médicales, le taux d'illusion de GPT-5 se limitait à 1,6 %, démontrant ainsi son avantage dans ce domaine.
OpenAI a proposé une solution simple : la pénalité pour une erreur de confiance devrait être supérieure à celle pour l'incertitude, tout en récompensant les comportements qui expriment correctement l'incertitude. L'équipe de recherche souligne qu'il ne suffit pas d'augmenter les tests de perception de l'incertitude ; il est également nécessaire de mettre à jour les méthodes d'évaluation actuellement largement utilisées.
L'article souligne que si les principaux indicateurs d'évaluation continuent à récompenser les suppositions chanceuses des modèles, ces derniers apprendront constamment à adopter ce type de comportement. En revanche, modifier les indicateurs d'évaluation pourrait élargir l'application des techniques de réduction des hallucinations.
La recherche a également analysé les mécanismes par lesquels les hallucinations se produisent durant le processus de pré-entraînement. OpenAI explique que les modèles linguistiques apprennent en prédisant le prochain mot dans un texte immense, contrairement à l'apprentissage automatique traditionnel où chaque phrase n'a pas d'étiquette vrai/faux explicite, le modèle ne peut voir que des exemples positifs de langage fluide.
L'équipe de recherche illustre son propos par une analogie avec la reconnaissance d'images : si l'on utilise une étiquette pour marquer les photos de l'anniversaire d'un animal de compagnie, même l'algorithme le plus sophistiqué peut commettre des erreurs en raison du caractère aléatoire des anniversaires. De même, pour des exemples comme l'orthographe et la ponctuation qui suivent des modèles cohérents, ces erreurs tendent à diminuer à mesure que les données augmentent ; cependant, des faits aléatoires et peu fréquents comme les anniversaires d'animaux ne peuvent pas être prévus uniquement par un modèle, ce qui peut mener à des illusions.
En parallèle, OpenAI restructure son équipe de comportement des modèles, un groupe de recherche d'environ 14 personnes chargé de façonner les interactions entre les modèles d'IA et les humains. Selon un mémo interne, l'équipe de comportement des modèles sera intégrée à l'équipe de formation avancée et fera rapport au responsable de cette équipe, Max Schwarzer.
La fondatrice de l'équipe, Joanne Jang, lancera un nouveau projet nommé OAI Labs, axé sur l'invention et la conception de nouveaux prototypes d'interfaces pour la collaboration entre l'homme et l'IA. L'équipe s'est auparavant engagée à façonner les caractéristiques de personnalité des modèles et à réduire leur comportement de flatterie, tout en abordant des problématiques telles que les biais politiques.
Cette étude fournit une base théorique importante pour comprendre le problème des hallucinations de l'IA, contribuant à faire progresser l'ensemble du secteur vers une amélioration des normes d'évaluation des modèles. OpenAI a déclaré qu'elle continuera à s'efforcer de réduire le taux d'erreur de confiance des sorties des modèles linguistiques.
Des experts de l'industrie estiment qu'avec l'amélioration des méthodes d'évaluation et l'application de nouvelles technologies, le problème des hallucinations de l'IA devrait être mieux contrôlé, ce qui augmentera encore la confiance des utilisateurs dans les systèmes d'IA et leur utilité.
