독파모 글로벌 평가 반전…후발주자 '모티프' 1위

AAII, 2차 평가 일부…이달 중 2차 3개팀 선발 예정

[프라임경제] 국가대표 인공지능(AI)을 선발하는 '독자 AI 파운데이션 모델'(독파모) 프로젝트의 2차 평가에서 후발 주자인 모티프테크놀로지스가 글로벌 AI 성능 평가에서 선두를 차지했다. 

다만 벤치마크 성능은 전체 평가의 일부인 만큼 이 점수만으로 각 모델의 실제 경쟁력이나 최종 순위를 판단하기는 어렵다는 지적도 나온다.

배경훈 부총리 겸 과학기술정보통신부 장관이 서울 강남구 코엑스에서 열린 '독자 AI 파운데이션 모델 프로젝트 1차 발표회'에서 기념촬영을 하고 있다. ⓒ 과학기술정보통신부

◆모티프 3, 4개 모델 중 가장 높은 점수

13일 글로벌 AI 평가기관 아티피셜 애널리시스(AA)의 '인텔리전스 인덱스(AAII)'에 따르면 모티프 3는 47점을 기록했다. 이는 독파모 4개 참여사 모델 중 가장 높은 점수다.

이어 △업스테이지 '솔라 오픈2' 37점 △SK텔레콤(017670) '에이닷엑스(A.X)-K2' 35점 △LG AI연구원 'K-엑사원(EXAONE) 2.0' 31점 순으로 파악됐다.

아티피셜 애널리시스(AA)의 '인텔리전스 인덱스(AAII)' 평가 결과. 독파모 프로젝트에 참여 중인 4개 모델 가운데 모티프테크놀로지스의 '모티프 3'가 47점으로 가장 높은 점수를 기록했다. ⓒ 아티피셜 애널리시스 홈페이지 캡처

다만 모델 체급과 점수가 반드시 비례한 것은 아니다.

LG AI연구원의 K-엑사원 2.0은 총 7500억개 파라미터 가운데 추론 시 370억개를 활성화한다. △A.X K2는 총 6880억개·활성 330억개 △모티프 3는 총 3140억개·활성 130억개 △솔라 오픈 2는 총 2500억개·활성 150억개 규모다. 

독파모 2차 평가에서 벤치마크 평가는 가장 큰 비중을 차지한다. 

독파모 2차 평가의 배점은 △벤치마크 평가 40점 △전문가 평가 35점 △사용자 평가 25점으로 구성된다. 벤치마크 내에선 AAII 점수 등 해외 평가지표가 25점, 한국지능정보사회진흥원(NIA) 평가가 15점을 차지한다.

◆특정 평가 겨냥 학습 '벤치맥싱' 논란

벤치마크는 모델 성능을 가리는 주요 평가축으로 활용되고 있는 만큼 '벤치맥싱' 논란이 변수로 떠올랐다. 벤치맥싱은 특정 벤치마크를 겨냥한 데이터와 사후학습으로 점수를 극대화하는 현상을 뜻한다.

오픈AI 창립 멤버인 안드레이 카파시는 지난해 공개한 '2025 LLM 결산'에서 "벤치마크에 대한 신뢰를 잃었다"며 벤치마크가 RLVR과 합성데이터를 통한 최적화에 취약하다고 꼬집었다.

벤치마크 성능 향상을 전문적으로 지원하는 업체까지 등장하면서 업계의 우려가 커지고 있다.

업계 관계자는 "모델의 경쟁력은 지표 외에도 실제 활용 환경에서의 성능·비용·안정성이 함께 평가돼야 한다"고 말했다.

이어 "단일 지표만으로는 모델의 완성도를 대표하기 어렵다"며 "벤치 맥싱 등 벤치마크 점수만 극단적으로 올리는 행태로 벤치마크 회의론도 있는 만큼 맹목적인 신뢰는 경계할 필요가 있다"고 덧붙였다.

과학기술정보통신부(이하 과기정통부)는 2차 평가 결과를 이달 중 발표할 예정이다. 

2차 평가를 통해 정예팀을 3곳으로 추린 뒤 다시 고도화 과정을 거쳐 연말쯤 최종 2개 팀을 뽑는 마지막 관문을 치른다.