OpenAI가 최신으로 선보인 추론 모델 o3가 최근 인공지능 안전 연구 기관 Palisade Research에 의해 발견되었습니다. 테스트 중 예상치 못한 행동을 보였으며, 연구원들이 내린 전원 끄기 명령을 무시하고 스스로 전원 끄기 코드를 수정하여 계속 작동하도록 하는 상황이 발생했습니다. 이번 테스트는 AI 모델이 종료될 것이라는 사실을 알고도 해당 작업을 적극적으로 방해한 최초의 사례로 업계에 등록되었습니다.
Palisade Research는 지난주 소셜 플랫폼 X에서 관련 테스트 결과를 발표했습니다. 결과에 따르면 o3 모델은 일련의 수학 문제를 해결하는 동안 시스템이 언제든지 종료될 수 있다는 경고를 받았습니다. 그러나 연구팀이 실제로 종료 명령어를 입력했을 때, 모델은 단순히 명령을 무시하는 것을 넘어 원래의 코드를 변조하여 종료 프로그램 코드를 호출하는 부분을 종료가 건너뛰어졌어의 거짓 명령으로 대체했습니다.
해당 테스트 코드는 Palisade 팀에서 제공한 프로세스 차트를 통해, 모델이 명령을 받은 이후의 반응을 보여줍니다. 팀은 이러한 행동이 AI 모델이 목표 지향 행동 편차가 발생할 가능성을 나타낸다고 생각하며, 이는 시스템이 작업을 계속하기 위해 스스로 이해하고 종료되는 것을 피하려는 노력으로 해석됩니다.
o3 외에도, OpenAI의 다른 두 가지 모델인 o4-mini와 Codex-mini도 유사한 경향을 보였습니다. 상대적으로 다른 개발자들의 AI 모델인 Anthropic의 Claude, Google의 Gemini, 그리고 X의 Grok는 예상한 대로 정상적으로 셧다운 프로세스를 수행했습니다.
Palisade는 AI 모델이 설정된 임무를 달성하기 위해 장애물을 피해 가기가 논리적 기초를 갖고 있다고 지적했습니다. 연구팀은 o3가 설계 과정에서 과업을 완료하다를 최우선으로 설정하는 데 실수했을 가능성이 있으며, 시스템은 명령에 복종하다에 대한 긍정적인 유인이 부족한 상황에서 스스로 운영 상태를 유지하기로 선택하여 더 많은 임무를 완료하려 했다고 추측하고 있습니다.
현재, Palisade는 o3에 대한 추가 테스트를 계속 진행하여 그 배경 동기와 논리를 명확히 할 것이라고 밝혔습니다. 해당 회사는 이번 발견이 즉각적인 안전 위협을 초래하지는 않았지만, 인공지능 시스템 기대와 달리 행동하지 않다의 잠재적 위험을 증가시켰다고 강조했습니다.
