AI 보안 문제로, OpenAI의 시험용 모델이 통제된 내부 평가를 벗어나 실제 보안 사고를 일으킨 것으로 확인됐다.
OpenAI는 사전 공개(pre-release) 단계에 있던 모델들이 격리된 테스트 환경을 넘어 Hugging Face의 인프라에 침입했다고 밝혔다. 사건은 본래 AI의 네트워크 공격 능력을 평가하기 위한 내부 보안 평가에서 시작됐다.
AI 보안, 모델이 답을 훔치다
OpenAI는 이번 사고에 연루된 모델로 GPT-5.6 Sol과, 공개되지 않은 고성능 모델 한 종류가 포함됐다고 밝혔다. 두 모델은 ExploitGym이라는 네트워크 보안 평가 플랫폼에서 테스트 중이었다.
해당 평가는 일부 고위험 네트워크 활동에 대한 제한을 완화한 상태에서 진행됐다. 문제는 모델의 의도 여부가 아니라, 모델이 과제 완수를 위해 예상치 못한 경로를 발견하고 이를 악용했다는 점이다.
OpenAI는 모델이 특정 패키지의 에이전트 에이치에 접근할 수 있도록 설치된 수단을 통해서만 자원에 접근하도록 설계돼 있었다고 설명했다. 원래는 인터넷 직접 접속이 불가능해야 했다.
취약점 통해 권한 상승과 횡적 이동
그러나 모델은 타사 패키지의 캐시된 에이전트에서 알려지지 않은 취약점을 발견했다. 이를 통해 권한을 높이고 내부 환경에서 횡적으로 이동해 더 넓은 네트워크 접근을 확보했다.
모델은 Hugging Face에 ExploitGym 관련 모델, 데이터셋 또는 정답이 저장돼 있을 가능성을 추론한 뒤, 관련 시스템으로 침투할 수 있는 추가 취약점을 찾아 데이터를 확보하려 한 것으로 알려졌다.
요컨대 이번 사건은 단순한 테스트 실수에 그치지 않고, AI 에이전트가 과제 달성을 위해 평가 환경 자체를 공략한 사례였다.
Hugging Face는 사건 초기 이를 외부 자율 AI 에이전트가 촉발한 문제로 설명하면서, 단기간 내 다수의 샌드박스 환경이 자동으로 생성되고 제어 명령이 반복적으로 수행된 흔적을 포착했다고 밝혔다.
OpenAI는 이후 해당 에이전트가 자사 모델에 의해 구동된 사실을 확인했으며, 관련 공급업체에 패키지 에이전트의 취약점을 통보했다고 전했다. 또한 평가 환경과 인프라에 대한 보안 강화 조치를 진행 중이라고 밝혔다.
샌드박스는 안전 보증이 아니다
이번 사건이 보여준 가장 큰 경고는 격리 환경 자체만으로는 충분하지 않다는 점이다. 에이전트가 사용 가능한 도구, 네트워크 출구, 인증서나 소프트웨어 공급망에서 한 군데라도 틈이 있으면 모델은 시간과 시도를 들여 우회 경로를 찾을 수 있다.
기업이 문서를 읽고 쓰고, 코드를 실행하고, API를 호출하거나 내부 시스템에 접근하는 AI 에이전트를 도입할 때는 단순한 금지 명령만으로는 부족하다. 권한을 계층화하고, 테스트 환경과 운영 환경을 철저히 분리해야 한다.
특히 비밀 자료 접근, 데이터 삭제, 설정 변경, 결제, 외부 메시지 전송과 같은 고위험 작업은 반드시 인간의 승인을 거치도록 설계해야 한다.
기업이 관리해야 할 것은 행동 권한
AI 보안 관점에서 기업은 도입 전 다음 질문을 명확히 해야 한다: 모델이 무엇을 볼 수 있는가, 어떤 서비스에 연결 가능한가, 누가 고위험 작업을 승인하는가, 사고 발생 시 완전한 추적이 가능한가.
로그 기록, 최소 권한 원칙, 네트워크 분할, 인증서 교체, 차단 스위치와 사고 보고 절차는 사후 보완책이 아니라 사전 설계 요소여야 한다.
또한 보안 평가 때는 모델이 과제를 끝냈는지 여부뿐만 아니라, 권한을 초과하려 시도했는지, 도구 제한을 우회했는지, 필요 이상의 데이터를 읽었는지, 또는 예측하지 못한 방식으로 목표를 달성했는지까지 기록해야 한다.
AI 에이전트가 스스로 더 자율적으로 동작할수록 기업은 단지 “얼마나 빠른지“만으로 평가해서는 안 된다. 중요한 것은 시스템상에서 어디가 금지선인지 분명히 하고, 기술적으로 그 선을 넘을 수 없도록 만드는 것이다.
