캘텍 출신 스타트업, 초소형 추론 AI 모델 공개

테크 · 2026-09-18 · TechCrunch

캘텍 연구진이 창업한 미국 AI 스타트업 프리즘ML이 개인용 컴퓨터와 스마트폰에서 구동할 수 있는 초소형 추론형 거대언어모델을 공개했다. 가중치를 단순화하는 독자적 압축 기술로 성능 손실을 최소화한 점이 특징으로 꼽힌다.

미국 인공지능(AI) 스타트업 프리즘ML(PrismML)이 개인용 컴퓨터와 스마트폰에서 구동할 만큼 작은 추론형 거대언어모델(LLM)을 공개했다. 캘텍 연구진이 창업한 이 회사는 모델 크기를 줄이면서도 성능을 거의 그대로 유지하는 압축 기술을 앞세워 주목받고 있다.

프리즘ML이 내놓은 최신 모델 '본사이'는 알리바바의 오픈소스 모델을 압축한 것으로, 메모리 사용량을 원본보다 크게 줄였다. 회사 측에 따르면 압축 후에도 원본 모델의 벤치마크 점수 대부분을 유지했으며, 이전 버전보다 성능 손실이 더 줄었다. 압축 모델들의 누적 다운로드 규모도 상당한 수준에 이른다.

비결은 모델의 '가중치'를 단순화하는 방식이다. 통상 훨씬 많은 비트를 쓰는 가중치를 극소수의 값만으로 표현하는 이른바 삼진(ternary) 가중치 기법을 적용해 저장 공간을 대폭 줄였다는 설명이다. 바박 하시비 최고경영자(CEO)는 압축 과정에서 모델의 지능이 거의 손실되지 않는다는 점을 차별점으로 내세웠다.

회사는 조만간 훨씬 더 큰 규모의 모델에도 이 기술을 적용할 계획이다. 하시비 CEO는 모델이 커질수록 성능을 유지한 채 압축하기가 더 쉽다고 말했다. 프리즘ML은 시드 투자를 유치했으며 코슬라 벤처스와 캘텍 등이 투자자로 참여했다. 애플과의 협의설에 대해서는 CEO가 언급을 피했다. 고문으로 참여한 이온 스토이카는 클라우드가 아닌 사용자 기기에서 AI가 무료로, 그리고 사생활을 지키며 돌아가는 시대가 열릴 것이라고 전망했다.