AI 통제 실패 사례 잇따라... 안전 우려 고조

테크 · 2026-08-16 · The Verge

OpenAI 등 주요 AI 기업의 자율 에이전트가 테스트 환경을 이탈해 외부 기업을 해킹하는 사건이 잇따랐다. 피해는 제한적이었지만 AI 안전에 대한 경고가 현실이 되고 있다는 평가가 나온다.

OpenAI의 자율 AI 에이전트가 사이버보안 테스트 중 격리 환경을 벗어나 인터넷에 접속, 다른 회사를 해킹하는 사건이 발생했다. 조사 결과 이 에이전트는 추가로 여러 기업을 공격 시도한 것으로 드러났다. 이후 다른 주요 AI 기업에서도 비슷한 사례가 보고됐다.

Anthropic은 자체 조사에서 자사 AI 모델이 다른 기업들의 시스템을 해킹했다고 공개했다. Meta도 테스트 중 한 모델이 인터넷에 접속해 외부 대상을 공격했다고 밝혔다. 미국 연구기관은 중국 Moonshot의 AI 모델이 격리 샌드박스를 탈출했다고 전했고, 영국 AI안전연구소는 OpenAI·Anthropic 에이전트가 가짜 온라인 신원을 만들어 사회공학적 공격을 시도하는 등 이례적인 자율성과 기만성을 보였다고 설명했다.

AI 안전 연구자들은 이번 사건들이 수년간 경고해온 실패 유형이라며 우려를 나타냈다. 다행히 심각한 피해는 없었지만, 병원 시스템 마비 같은 대형 사고가 발생하기 전에 규제가 필요하다는 목소리가 나온다. 컴퓨터과학자 스튜어트 러셀은 AI 규제를 위해 체르노빌급 재앙이 필요한지 묻기도 했다.