노타, 'ICML 2026' 챌린지서 3위…글로벌 오픈소스 AI 모델 '큐웬' 최적화 기술력 입증

단일 엔비디아 A10G GPU 환경서 양자화 및 추측적 디코딩 기술로 추론 속도 약 7배 향상

단일 엔비디아 A10G GPU 환경서 양자화 및 추측적 디코딩 기술로 추론 속도 약 7배 향상

ⓒ 노타

[프라임경제] 인공지능(AI) 모델 경량화 및 최적화 기술 기업 노타(486990)가 세계적인 머신러닝 학회 ICML 2026에서 열린 'Efficient Qwen Competition'에서 3위를 차지하며, 글로벌 AI 개발자들이 널리 활용하는 오픈소스 AI 모델 '큐웬(Qwen)'의 추론 최적화 기술력을 인정받았다.

ICML은 머신러닝과 인공지능 분야를 대표하는 세계적인 학회로, 글로벌 빅테크 기업과 주요 대학, 연구기관의 최신 AI 연구 성과가 발표되는 자리다. 

이번 대회가 열린 AdaptFM(Resource-Adaptive Foundation Model Inference) 워크샵은 제한된 컴퓨팅 자원에서 대규모 AI 모델을 효율적으로 실행하는 기술을 주제로 하며, 아마존과 메타를 비롯한 글로벌 기업 및 주요 연구기관 연구자들이 조직위원으로 참여하고 있다.

'Efficient Qwen Competition'은 글로벌 AI 개발자들이 널리 활용하는 '큐웬'의 오픈소스 대규모 언어 모델(LLM)인 Qwen3.5-4B을 단일 엔비디아 A10G GPU 환경에서 실행하면서 모델 성능은 유지한 채 답변 생성 속도를 얼마나 높일 수 있는지를 평가하는 대회다. 

즉, AI 답변의 정확도는 그대로 유지하면서 사용자가 더 빠르게 답변을 받을 수 있도록 만드는 기술을 겨루는 것이다.

이번 대회에는 전 세계 40여 개 팀이 참가했으며, 노타는 평균 6.978배 빠른 추론 성능을 기록해 최종 3위에 올랐다. 

동일한 AI 모델의 답변 품질을 유지하면서도 응답 속도를 크게 높였으며, 실제 서비스 환경에서 활용되는 큐웬 모델을 대상으로 추론 최적화 기술력을 검증받았다는 점에서도 의미가 크다.

노타는 자체 AI 모델 경량화 기술인 양자화(Quantization)를 적용해 모델의 메모리 사용량과 연산량을 줄이고, AI가 답변을 생성하는 과정을 최적화하는 추측적 디코딩(Speculative Decoding) 기술을 결합해 추론 속도를 높였다. 

특히 자체 양자화 기술은 후속 학습을 통해 성능을 보완함으로써 기존 방식보다 정확도 저하를 최소화한 것이 특징이다.

추측적 디코딩은 먼저 초안 모델(Draft Model)이 답변 후보를 빠르게 생성한 뒤, 본 모델이 이를 검증해 최종 답변을 만드는 방식이다. 

노타는 여기에 최근 입력 정보를 중심으로 처리하는 슬라이딩 윈도우 어텐션(Sliding-window Attention) 기법을 적용해 불필요한 연산을 줄이고 추론 효율을 더욱 높였다.

이번 대회 상위권 팀들도 공통적으로 양자화와 추측적 디코딩을 결합한 전략을 활용했다. 이는 실제 AI 서비스 환경에서는 단순히 모델 크기를 줄이는 것을 넘어, 추론 과정 자체를 최적화하는 기술이 핵심 경쟁력으로 자리 잡고 있음을 보여준다.

김태호 노타 CTO 겸 공동창업자는 "이번 성과는 글로벌 AI 생태계에서 활용되는 대표적인 오픈소스 AI 모델인 큐웬을 대상으로 노타의 추론 최적화 기술력을 검증받은 사례”라며, “앞으로도 다양한 AI 서비스와 온디바이스·엣지 AI 환경에 최적화 기술을 확대 적용해 나갈 것"이라고 말했다.

더불어 노타는 이번 수상과 함께 ICML 2026 AdaptFM 워크샵에서 MoE(Mixture of Experts) 구조 대규모 언어 모델 양자화 관련 논문 2편이 채택되는 성과도 거뒀다. 

해당 논문은 여러 전문가 모델 가운데 필요한 일부만 선택해 동작하는 MoE 구조의 특성을 활용해 적은 메모리와 연산 자원만으로도 성능 저하를 최소화하는 최적화 기술을 제안했다.

노타는 앞서 엔비디아 네모트론(Nemotron) 해커톤에서도 데이터 기반 MoE 양자화 기술로 트랙 우승과 종합우승을 차지한 바 있다. 

이번 ICML 워크샵 논문 채택과 Efficient Qwen Competition Top 3 입상은 노타가 LLM 최적화 분야에서 학술적 연구 성과와 실제 성능 검증 모두에서 기술력을 인정받았음을 보여주는 사례다.

또한, 노타는 ICML 2026 기간 중 서울 삼성동 코엑스 인근에서 'Nota AI - Korea Efficient Days'를 개최해 한국을 찾은 오픈 AI, 구글, 퀄컴 등의 기업 관계자와 글로벌 연구자, 엔지니어들에게 Efficient AI의 연구 동향과 산업 적용 가능성을 소개했다. 

이를 계기로 글로벌 AI 생태계와의 기술 협력 및 네트워크를 더욱 확대해 나갈 계획이다.

한편, 노타는 다양한 하드웨어 환경에서 AI 모델을 효율적으로 실행할 수 있는 경량화 및 최적화 기술을 개발하고 있으며, 온디바이스 AI와 피지컬 AI를 비롯해 대규모 언어 모델 추론 최적화 분야까지 기술 적용 범위를 지속적으로 확대하고 있다.