노타, '2.8조개 파라미터' 초거대 AI 모델 최적화 '성공'…최신 엔비디아 GPU 비용 20%↓

GPQA Diamond 평가 점수 원본 대비 99% 이상 유지…"AI 인프라 구축 혁신"

GPQA Diamond 평가 점수 원본 대비 99% 이상 유지…"AI 인프라 구축 혁신"

ⓒ 노타

[프라임경제] 인공지능(AI) 추론 효율화 기업 노타(486990)는 문샷AI의 초거대 모델 '키미 K3.1 Pro(Kimi K3.1 Pro)'를 최적화해 그래픽처리장치(GPU) 초기 구매비용을 최대 약 20% 낮췄다고 10일 밝혔다. 

기존 엔비디아 B300 GPU 8장이 필요했던 모델을 구매비용이 상대적으로 낮은 B200 GPU 8장에서도 실행할 수 있도록 최적화했다.

이에 따라 기업과 개발자는 B300을 새로 확보하는 대신 보유한 B200 기반 인프라를 활용하거나 신규 도입 시 구매비용이 낮은 구성을 선택할 수 있다. 모델의 주요 성능을 유지하면서 활용 가능한 하드웨어의 범위를 넓혀 최신 AI 모델 도입에 따른 투자 부담을 줄인 것이다.

키미 'K3.1 Pro'는 2조8000억 개의 매개변수를 갖춘 모델로, 전체 매개변수 기준 현재 공개된 오픈웨이트 AI 모델 중 최대 규모다. 모델 규모가 클수록 실행에 필요한 메모리와 GPU 확보가 중요해지는 만큼, 주요 성능을 보존하면서 하드웨어 요구 조건을 낮추는 최적화의 가치도 커진다. 

노타는 모델 내부 전문가 모듈을 선별적으로 제거하는 프루닝 기술을 적용해 전문가 모듈을 최대 37% 줄였다. 이를 통해 모델의 메모리 요구량을 낮춰 B300 대신 B200 GPU 8장에서도 실행할 수 있도록 최적화했다. 

모델을 가볍게 하면서도 주요 성능은 보존해 고난도 과학 추론 능력을 평가하는 'GPQA Diamond'에서 원본 모델 점수의 99% 이상을 유지했다. 

더불어 전문가 프루닝으로 모델의 메모리 사용량을 줄이고, 확보한 여유 공간을 긴 문맥 처리와 답변 생성 가속에 활용했다. 

B200 GPU 8장 환경에서 전문가를 30% 줄인 모델은 최대 51만2000토큰, 37% 줄인 모델은 최대 100만 토큰의 문맥을 처리한다. 토큰은 AI가 글과 코드를 처리하는 단위로, 긴 문맥을 지원할수록 더 많은 정보를 한 번에 참고할 수 있다. 

확보한 여유 메모리는 답변 생성을 돕는 작은 보조 모델인 드래프트 모델을 함께 실행하는 데도 활용했다. 

드래프트 모델이 다음에 나올 내용을 미리 제안하고 본 모델이 이를 한 번에 검증하는 '추측 디코딩(Speculative Decoding)'을 지원해 B200 GPU 8장 환경에서도 답변 생성 속도를 높일 수 있도록 했다.  

이처럼 주요 성능 저하를 최소화하면서 B200 GPU에서도 실행할 수 있게 돼 GPU 도입 비용도 낮출 수 있다. 자사 견적 기준, 동일 AI 모델의 GPU 구매 시 B300 대신 B200을 활용하면 구매비용을 최대 약 20% 절감할 수 있다. 

클라우드에서도 동일 AI 모델 조건의 자사 견적 비교에서 B200 GPU 임대료가 최대 약 22%가량 낮게 나타났다. 구매 또는 임대 방식에 따라 고객의 예산과 운영 조건에 맞는 구성을 선택할 수 있도록 한 것이다. 

이번 성과는 키미 K3 경량화에 이은 후속 최적화 사례다. 노타는 앞서 키미 K3의 실행에 필요한 B300 GPU를 기존 8장에서 최대 4장으로 줄였다. 

당시에는 동일 GPU의 수량을 줄였다면 이번에는 최신 후속 모델에 필요한 GPU 사양을 낮춰 모델 특성과 고객의 인프라 조건에 따라 도입 부담을 줄이는 최적화 역량을 보여줬다. 

노타는 이러한 적용 경험을 바탕으로 고성능 모델을 한정된 컴퓨팅 자원에서 활용하려는 기업과 개발자의 수요에 대응할 계획이다. 

채명수 노타 대표는 "AI 산업의 경쟁력은 더 많은 고성능 GPU를 확보하는 것뿐 아니라, 이미 보유한 컴퓨팅 자원에서 얼마나 높은 성능과 효율을 구현하느냐에 달려 있다"며 "이번 성과는 초거대 AI 모델의 주요 추론 성능을 유지하면서 하드웨어 요구 조건을 낮춰 AI 도입의 경제성을 개선할 수 있음을 보여준다"고 말했다.

이어 "노타는 모델 경량화부터 추론 실행과 서빙 최적화까지 기술 적용 범위를 확대하고 있다"며 "기업들이 기존 AI 인프라를 더욱 효율적으로 활용하고 새로운 모델을 합리적인 비용으로 도입할 수 있도록 최적화 소프트웨어 사업을 강화하겠다"고 전했다.

한편 노타가 공개한 키미 K3.1 Pro 경량화 모델은 글로벌 AI 플랫폼 허깅페이스에서 확인할 수 있다.