오픈AI, 추론 특화 칩 '할라페뇨' 벤치마크 공개

테크 · 2026-08-25 · TechCrunch

오픈AI가 자체 개발한 AI 추론 칩 '할라페뇨'의 첫 벤치마크 결과를 공개했다. 전력 대비 처리량과 사용자당 토큰 수에서 현재 최고 수준 추론 프로세서를 앞섰다는 평가다.

오픈AI가 25일(현지시간) 핫칩스 컨퍼런스에서 자체 개발한 AI 추론 칩 '할라페뇨(Jalapeño)'의 상세 설계와 첫 벤치마크 결과를 공개했다. 세미애널리시스의 InferenceX 벤치마크에서 할라페뇨는 사용자당 토큰 수와 전력 대비 처리량 모두 현재 상용화된 최고 수준의 추론 프로세서를 웃도는 성능을 기록했다.

오픈AI 하드웨어 총괄 리처드 호는 가격 대비 성능에서 기존 대비 매우 유의미한 개선을 보여준다며, 전력당 더 많은 AI 작업을 처리하면서도 응답 지연 시간을 낮출 수 있다고 설명했다. 비교 대상은 엔비디아 블랙웰 시스템이지만, 할라페뇨가 본격적으로 배치되는 시점에는 경쟁 제품도 크게 발전해 있을 수 있다. 호 총괄은 할라페뇨가 2026년 말 극소량으로 먼저 도입되고, 2027년에 더 큰 규모로 확대될 것으로 전망했다.

할라페뇨는 지난해 10월 처음 발표된 칩으로, 오픈AI가 브로드컴과 긴밀히 협력해 개발했다. 오픈AI는 이 칩을 다세대 플랫폼으로 구축할 계획이며, AI 제품·모델·칩·메모리를 함께 설계하는 풀스택 접근을 취하고 있다. 이를 통해 추론 과정에서 병목으로 자주 지적되는 프리필(prefill)과 통신 단계의 지연을 최소화하는 데 중점을 뒀다. 회사는 모델 상태와 생성 중 사용되는 KV 캐시를 로컬에 배치하고, 각 추론 단계에 맞는 연산·메모리·네트워킹 자원을 조합하는 방식으로 데이터 이동을 줄였다고 설명했다.