훅깅페이스 "AI 벤치마크 아직 미성숙"

테크 · 2026-10-20 · TechCrunch

훅깅페이스 정책총괄 아이린 솔레이먼은 AI 모델 벤치마크가 아직 성숙하지 않은 과학이며 평가 간 상호 비교가 어렵다고 지적했다. 재현성 확보와 평가자 자격 기준의 표준화가 관건이라는 진단이다.

AI 기업들이 모델 성능을 홍보하는 근거로 삼아온 벤치마크(성능 평가) 체계가 아직 성숙하지 않다는 지적이 나왔다. 훅깅페이스의 아이린 솔레이먼 정책총괄은 최근 테크크런치 디스럽트 행사에서 평가 방식이 복잡하고 계속 진화하는 단계라며, 업계가 신뢰하려면 일관된 과학으로 정리돼야 한다고 말했다.

가장 큰 쟁점은 재현성이다. 솔레이먼은 평가 결과를 신뢰할 수 있느냐는 결국 같은 결과를 다시 만들어낼 수 있느냐의 문제라며, 모델 자체에 어느 수준까지 접근할 수 있는지가 핵심이고 여기서 개방형 가중치(오픈 웨이트) 공개가 중요해진다고 설명했다. 그는 각 평가가 서로 어떻게 비교되는지 알기 어렵고, 평가 도구는 비교적 빠르게 효력이 떨어지는 반면 생태계는 충분히 성숙하지 않다고 덧붙였다.

최근 부상한 '임베디드 평가자' 방식도 과제다. 조직 내부에 중립적인 제3자 관찰자를 두자는 이 구상은 AI 안전 사고가 잇따르면서 확산했지만, 누가 어떤 과제에서 유능한 평가자인지를 판별할 자격 기준은 표준화가 훨씬 더 필요하다는 것이다. 앤트로픽이 첫 평가자로 액센츄어를 선정한 것을 두고는 자격 논란이 일었다.

평가 대상도 모델 자체에서 모델을 둘러싼 시스템 전체로 옮겨가고 있다. 솔레이먼은 사용자가 모델에 접근하는 도구인 하네스가 성능에 큰 영향을 미쳐, 성능이 낮은 모델이라도 하네스가 좋으면 최전선 모델을 앞설 수 있다고 말했다. 그는 에이전트 단위 평가는 매우 어렵고 비용도 크다며, 모델용 평가에 비해 하네스와 에이전트 전체를 보는 평가는 아직 부족하다고 짚었다.