노타, 초거대 AI 경량화 기술력 입증…'키미 K3' GPU 절반 절감

프론티어급 오픈웨이트 모델 최적화…기업 활용성 높여

노타의 키미 K3 모델 경량화 결과. ⓒ 노타

[프라임경제] 인공지능(AI) 모델 경량화 및 최적화 기술 기업 노타(486990)는 최근 업계에서 주목받는 문샷 AI의 초거대 AI 모델 '키미 K3(Kimi K3)'를 경량화해 구동에 필요한 그래픽처리장치(GPU)를 최대 절반으로 줄였다고 5일 밝혔다. 

2조8000억개의 매개변수를 갖춘 프론티어급 AI 모델에서도 자체 기술력을 입증했다는 평가다.

키미 K3는 입력값에 따라 필요한 모듈만 선택적으로 활성화하는 전문가 혼합(Mixture-of-Experts·MoE) 구조를 채택해 연산 효율을 높인 프론티어급 오픈웨이트 AI 모델이다. 높은 성능만큼 구동에 엔비디아의 최신 고성능 GPU인 B300 8장이 필요하기 때문에 기업과 개발자가 활용하기에는 비용과 인프라 부담이 크다. 

프론티어급 모델의 활용도를 높이려면 핵심 성능을 유지하면서 모델 크기와 연산량을 줄이는 경량화가 필요하다. 그러나 키미 K3는 학습 단계부터 가중치와 활성값을 각각 4비트와 8비트로 낮춰 설계돼, 모델이 사용하는 숫자의 정밀도를 낮춰 크기와 연산량을 줄이는 일반적인 양자화 방식만으로는 추가로 압축할 수 있는 범위가 제한적이었다. 

노타는 이 문제를 자체 개발한 '비균일 전문가 프루닝(Non-uniform Expert Pruning)' 기술로 경량화로 풀었다. 모델 층별 특성과 모듈 중요도를 분석해 핵심 전문가는 보존하고 기여도가 낮은 모듈만 선별 제거하는 방식이다. 모든 층을 동일 비율로 줄이던 기존 방식과 달리 층별 제거 비율을 다르게 적용해 성능 저하를 최소화했다. 

이를 통해 노타는 키미 K3의 전문가 모듈을 각각 25%, 50% 줄인 경량화 모델 2종을 공개했다. 모델 구동에 필요한 엔비디아 B300 GPU 수도 기존 8장에서 각각 6장과 4장으로 줄였다. 이에 따라 실제 기업과 개발자들에게 대규모 AI 모델을 보다 적은 인프라 비용으로 운영할 수 있도록 지원한다.

성능 유지도 확인됐다. 노타가 자체 평가한 결과, 층별 전문가를 동일한 비율로 제거하는 REAP(Router-weighted Expert Activation Pruning)방식보다 층별 제거 비율을 달리한 노타의 50% 경량화 모델이 대다수의 벤치마크에서 더 높은 성능 보존율을 기록했다. 

특히 고난도 과학, 추론 능력을 평가하는 GPQA-Diamond와 사용자의 지시를 정확히 수행하는 능력을 평가하는 IFEval 점수는 각각 2.52점, 2.22점 높았다.   

회사 측은 이번 성과로 대규모 전문가 혼합(MoE) 모델에 대한 기술 적용성을 입증했다고 설명했다. 

앞서 노타가 허깅페이스에 공개한 업스테이지 '솔라 오픈2' 경량화 모델은 공개 2주 만에 누적 다운로드 6만8000회를 돌파하며 시장의 큰 호응을 얻은 바 있다. 고성능 AI 모델을 더 적은 연산 자원과 비용으로 활용하려는 기업과 개발자의 높은 관심과 수요가 반영된 것으로 풀이된다.

김태호 노타 최고기술책임자(CTO)는 "자체 개발한 비균일 전문가 프루닝 기술을 바탕으로 솔라 오픈2에 이어 프론티어급 모델인 키미 K3까지 성공적으로 경량화해 주요 성능을 유지하면서 필요한 GPU를 최대 절반으로 줄이는 등 초거대 AI 모델의 연산 효율성을 높였다"며 "다양한 프론티어급 AI 모델을 한정된 연산 자원에서도 효율적으로 활용할 수 있도록 기술 적용 범위를 확대하겠다"고 말했다.

한편 노타가 공개한 솔라 오픈2와 키미 K3 경량화 모델은 글로벌 AI 플랫폼 허깅페이스에서 확인할 수 있다.