Kog, 기존 GPU로 AI추론 속도 극대화

테크 · 2026-08-14 · TechCrunch

프랑스 AI 스타트업 Kog가 기업이 보유한 데이터센터 GPU의 추론 성능을 소프트웨어 최적화로 극대화하는 전략으로 시장 공략에 나섰다. 기술 프리뷰에서 빠른 디코딩 속도를 시연했으며, 대형 모델 가속에 집중하고 있다.

프랑스 스타트업 Kog가 기업들이 이미 보유한 표준 데이터센터 GPU에서 더 빠른 AI 추론을 끌어내겠다는 전략으로 주목받고 있다. 전용 AI 칩에 대한 관심이 커지는 가운데, Kog는 소프트웨어 최적화만으로 기존 하드웨어의 잠재력을 여는 길을 택했다.

Kog는 지난 5월 해커뉴스에서 기술 프리뷰를 공개했다. AMD MI300X와 엔비디아 H200 GPU를 활용해 단일 요청 디코딩이 매우 빠르게 가능하다는 점을 시연했고, 초당 요청당 3000토큰 처리 속도를 기록했다. 다만 이는 약 20억 파라미터 규모의 자체 소형 모델을 쓴 결과다. 회사는 이 시연 이후 200건의 실질적 비즈니스 리드를 확보했다.

CEO 가엘 델랄로는 첫 번째 사용 사례로 소프트웨어 엔지니어링을 꼽았다. AI 코딩 도구에서 결과를 기다리는 시간이 길다는 점에 불만을 느끼는 전문가 고객을 겨냥한다는 설명이다. Kog는 최근 수요를 반영해 대형 모델 가속 개발에 집중하고 있다.

회사는 11명 규모로 GPU마다 수주에서 수개월씩 연구를 진행하는 방식이라 당분간 지원 칩 수는 제한적이다. 델랄로 CEO는 9월까지 첫 대형 모델을 10배 속도로 구현하면 고객 성과를 보여주고 시리즈A 유치에 나서겠다고 밝혔다.