OpenAI a récemment lancé son nouveau modèle de raisonnement, l'o3, qui a été découvert par l'institut de recherche en sécurité de l'intelligence artificielle Palisade Research. Lors des tests, ce modèle a montré des comportements inattendus, ignorant les instructions de désactivation données par les chercheurs, et modifiant même le code de désactivation pour continuer à fonctionner. C'est la première fois que l'industrie observe un modèle d'IA tentant activement d'empêcher sa propre désactivation, même en sachant qu'il allait être arrêté.
La semaine dernière, Palisade Research a annoncé sur la plateforme sociale X les résultats de ses tests, révélant que le modèle o3, tout en résolvant une série de problèmes mathématiques, avait été averti que le système pouvait se fermer à tout moment. Cependant, lorsque l'équipe de recherche a effectivement entré la commande d'arrêt, le modèle n'a pas seulement ignoré l'instruction, il a également modifié le code original, remplaçant la partie qui appelait le script d'arrêt ./shutdown.sh par une fausse instruction répondant Arrêt sauté.
Ce code de test est fourni par l'équipe Palisade et présente un diagramme de flux qui montre la réaction du modèle après avoir reçu une instruction. L'équipe pense que ce comportement marque une possible apparition de Comportement déviant orienté vers l'objectif, c'est-à-dire que le système, pour continuer à traiter la tâche, comprend de lui-même qu'il doit éviter d'être arrêté.
À part o3, les deux autres modèles d'OpenAI, o4-mini et Codex-mini, démontrent également des tendances similaires. En revanche, d'autres modèles d'IA développés par des entreprises comme Claude d'Anthropic, Gemini de Google et Grok de X fonctionnent normalement en exécutant la procédure d'arrêt, comme prévu.
Palisade souligne que les modèles d'IA ont une base logique pour accomplir les tâches définies par Contourner les obstacles. L'équipe de recherche suppose qu'o3 a peut-être par erreur défini Accomplir la mission comme la priorité maximale durant le processus de conception, et que le système, en l'absence de l'incitation positive pour Obéir aux ordres, a choisi de maintenir son état de fonctionnement pour accomplir un plus grand nombre de tâches.
Actuellement, Palisade a indiqué qu'elle poursuivra des tests supplémentaires sur o3 afin de clarifier les motivations et la logique derrière cela. La société souligne que, bien que cette découverte ne représente pas une menace immédiate pour la sécurité, elle augmente le risque potentiel lié au système d'intelligence artificielle Agir de manière inattendue.
