모티프, 독파모 평가에 이의 제기…"세부 평가결과 공개해야"

모티프3 47점으로 경쟁 모델 앞서…3차 평가는 참여 안해

[프라임경제] 정부의 독자 인공지능(AI) 파운데이션 모델 사업 2차 평가에서 탈락한 모티프테크놀로지스가 평가 결과에 이의를 제기했다. 평가점수 상세 공개와 재심의를 요청했다. 

ⓒ 과학기술정보통신부

27일 모티프테크놀로지스는 입장문을 내고 "독자 AI 파운데이션 모델 사업 2차 단계 선정 결과와 관련해 정식으로 이의 제기를 신청했다"고 밝혔다.

모티프는 △ 전체 평가 항목별·업체별 상세 점수 및 평가 내용 공개 △ 벤치마크 평가 배점 산정 방식의 근거 제시 △ 전문가 평가 상세 기준 및 판단 근거 공개 △ 사용자 평가 방법론과 블라인드 평가 적용 여부 공개 등을 요구했다.

모티프는 글로벌 벤치마크 성적과 정부의 최종 평가 결과 사이의 격차에 대해 문제를 제기했다.

'모티프 3' 모델은 글로벌 AI 평가기관 아티피셜 애널리시스(AA)의 '인텔리전스 인덱스(AAII)'에서 47점을 기록했다. 이는 독파모 4개 참여사 모델 중 가장 높은 점수다.

이어 △업스테이지 '솔라 오픈2' 37점 △SK텔레콤(017670) '에이닷엑스(A.X)-K2' 35점 △LG AI연구원 'K-엑사원(EXAONE) 2.0' 31점 순으로 파악됐다.

모티프는 "평가 결과 자체는 존중하고 받아들였지만, 언론을 통해 과기정통부는 모티프3가 AAII 벤치마크 점수만 높았을 뿐 전문가 평가와 사용자 평가에서 문제가 있었다고 설명한 것으로 보도됐다"며 "일부 언론에 보도된 과기정통부 고위 관계자 발언에서는 모티프3가 벤치마크 점수에 비해 실제 추론 성능이 미흡하고 사용성과 활용성이 떨어진다는 평가까지 언급됐다"고 말했다.

이어 "이러한 내용은 단순히 어떤 업체가 선정되고 어떤 업체가 탈락했느냐의 차원을 넘어, 독파모 사업의 본질과 향후 나아가야 할 방향에 대한 근본적인 의문을 제기한다고 생각한다"며 "저희가 추구해 온 기술적 방향성과 그 결과물에 대해 일부 오해가 있을 수 있다는 생각도 하게 돼 평가점수의 상세한 공개와 재심의를 정중히 요청한다"고 덧붙였다.

독파모 2차 평가에서 벤치마크 평가는 가장 큰 비중을 차지했다. 

독파모 2차 평가의 배점은 △벤치마크 평가 40점 △전문가 평가 35점 △사용자 평가 25점으로 구성됐다. 벤치마크 내에선 AAII 점수 등 해외 평가지표가 25점, 한국지능정보사회진흥원(NIA) 평가가 15점이었다.

AAII 점수가 가장 높았음에도 불구하고 모티프는 독파모 2차 평가에서 가장 낮은 종합점수를 받아 탈락했다. LG AI연구원·SK텔레콤·업스테이지 등 3개 팀이 3차 평가에 진출했다.

모티프는 "AAII에서 모델 간에 47점과 31점이라는 상당한 차이에도 불구하고, 글로벌 주요 벤치마크 결과와 전문가 평가가 상반된 결과가 발생한 이유와 배경에 대해 기업과 업계가 이해할 수 있도록 보다 구체적으로 설명될 필요가 있다"고 주장했다.

전문가 평가에 대해서는 LG AI연구원의 사례를 언급했다.

모티프는 "AAII 점수가 가장 낮은 LG의 경우 이전 1차 대비 모델 규모를 2배 이상 키웠지만 벤치마크 점수 개선은 미미했고, 독파모 참여 모델 가운데 가장 낮은 점수를 기록했다"며 "이는 전문가 평가에서도 개발 전략과 기술, 개발 성과 분야에서는 높은 평가를 받기 어려웠을 것이라고 추정할 수 있는 대목"이라고 꼬집었다.

그러면서 "가장 성능이 낮은 모델이 전문가 평가에서 1위를 차지했다는 결과에 대한 구체적인 판단 근거를 이해하기 어렵다"고 지적했다.

사용자 평가에 대해서는 "브랜드 인지도나 선입견이 평가에 영향을 미칠 가능성을 배제하기 어렵다"며 블라인드 평가 방식 적용 여부와 상세 결과 공개를 요청했다.

다만 모티프는 이번 이의 제기가 독파모에 선정돼야 한다는 주장을 위한 것은 아니라고 선을 그엇다.

모티프는 "이의 제기 결과와 관계없이 독파모 3차에는 참여하지 않겠다"며 "앞으로는 스스로의 힘으로 저희가 한국에서 가장 우수한 프론티어 모델을 만들고 글로벌 경쟁에서 이겨낼 수 있는 팀이라는 것을 증명하겠다"고 강조했다.