MS 나델라 "AI에 인간 통제 비상 브레이크 필요"

테크 · 2026-10-11 · CNBC

마이크로소프트의 사티아 나델라 최고경영자가 첨단 인공지능(AI) 시스템에 인간이 통제하는 '비상 브레이크'와 격리·독립 통제 장치를 갖추자고 제안했다. 주요 기술 기업 경영진과 연구자들의 안전 경고가 이어지는 가운데 나온 발언이다.

마이크로소프트의 사티아 나델라 최고경영자(CEO)가 첨단 인공지능(AI) 시스템에 인간이 통제하는 '비상 브레이크'를 갖춰야 한다고 주장했다. 권한을 부여받은 사람이 모델이 작업을 수행하는 도중에도 일시 중지하거나 작동을 멈출 수 있게 설계해야 한다는 것이다. 나델라는 소셜미디어 엑스(X) 게시글에서 이같이 밝혔다.

그는 비결정론적 모델을 강력하고 결정론적인 시스템 설계와 인간 통제, 신뢰할 수 있는 운영 절차로 둘러싸야 한다고 강조했다. 기존 표준이 충분하지 않으면 업계 표준을 새로 세워야 한다는 것이다. 관측 가능성 원칙으로는 모델 다양성, 모델 행동에 대한 사람이 읽을 수 있는 기록, 지속적인 시스템 테스트, 독립적 통제와 감사 가능성, 격리, 사고 공개 등을 제시했다.

나델라는 가장 신뢰할 수 있는 초지능 시스템은 우리가 가장 신뢰하는 모델을 가진 것이 아니라, 모델을 가장 신뢰하지 않을 수 있게 해주는 시스템이라고 말했다. 이번 발언은 주요 기술 기업 경영진과 연구자들이 AI 안전 프로토콜이 충분하지 않다는 경고를 잇따라 내놓는 가운데 나왔다.

빌 게이츠 마이크로소프트 공동창업자와 다리오 아모데이 앤스로픽 CEO, 샘 올트먼 오픈AI CEO 등은 기술이 너무 빠르게 움직이고 있다고 우려해 왔다. 한 연구자는 앤스로픽을 떠나며 생명을 걸고 도박하고 있다고 비판했고, 안전 담당 책임자는 인류 전체가 위험해질 가능성을 배제할 수 없다고 경고했다. 반면 도널드 트럼프 미국 대통령은 AI 멸종 위험을 거듭 일축하며 중국을 앞서는 것이 중요하다고 강조해 왔다.