발화 종료 판단 0.254초…상위 10개 모델 중 가장 빨라 "하나의 모델로 실시간 작동"
[프라임경제] 생성형 AI 및 AI 음성 기술 전문기업 네오사피엔스(0161M0)는 자체 개발한 'Neosapience Nunchi v2'가 글로벌 음성 AI 공개 평가 '턴벤치(TurnBench)'의 리더보드에서 발화 종료(23개 모델)와 끼어들기(22개 모델) 두 부문 모두 3위에 올랐다고 20일 밝혔다.
해당 리더보드에는 오픈AI, 구글 등 글로벌 빅테크의 모델도 함께 올라 있으며, 'Nunchi v2'는 오픈AI와 구글 모델보다 높은 순위를 기록했다. 특히 끼어들기 부문에서는 이번 평가에 오른 국내 기업 모델 가운데 1위를 차지했다.
'Nunchi v2'는 사용자의 말이 끝났는지(발화 종료), 대화 도중 끼어들었는지(끼어들기)를 파악해 음성 AI가 언제 듣고 답할지 결정하도록 돕는 모델이다. 별도의 음성 감지 모듈(VAD) 없이 하나의 모델이 입력되는 음성을 연속으로 처리하는 실시간 스트리밍 방식으로 작동한다.
턴벤치는 음성 AI가 대화 중 발화 종료와 끼어들기 시점을 얼마나 정확하고 빠르게 알아차리는지 비교하는 글로벌 공개 평가다.
리더보드에는 오픈AI의 '리얼타임(Realtime)', 구글의 '제미나이 3.1 라이브(Gemini 3.1 Live)' 등 글로벌 빅테크의 실시간 음성 AI와 전 세계 스타트업·연구기관의 모델이 함께 올라 있다. 발화 종료 부문에서 구글 '제미나이 3.1 라이브'는 17위, 오픈AI '리얼타임'은 20위를 기록했다.
턴벤치는 오탐률이 기준치를 넘는 모델은 순위에서 제외하고, 기준을 충족한 모델을 감지율 순으로 평가한다. 평가에는 일상 대화, 목적 중심 대화, 토론 등 6가지 유형을 고르게 담은 약 30시간 분량의 두 사람 간 영어 대화가 쓰인다.
네오사피엔스는 높은 감지율과 빠른 판단 속도, 낮은 오탐률을 함께 기록했다. 턴벤치 리더보드에 따르면 'Nunchi v2'의 발화 종료 감지율은 95.9%로 2위 모델과 0.1%포인트 차이에 그쳤다.
또한 사용자가 말을 마친 뒤 'Nunchi v2'가 이를 알아차리기까지 중앙값 기준 0.254초가 걸려, 같은 부문 1위(0.595초)와 2위(0.548초) 모델보다 두 배 이상 빠르게 판단했다. 이는 발화 종료 부문 상위 10개 모델 가운데 가장 짧은 시간이다.
'Nunchi v2'의 오탐률(사용자가 말하다 잠시 멈춘 구간을 말이 끝난 것으로 잘못 판단한 비율)은 6.4%로, 발화 종료 감지율이 90% 이상인 7개 모델 가운데 가장 낮았다. 끼어들기 감지율도 97.1%를 기록했다.
이처럼 사용자의 말을 성급하게 끊는 오류와 말이 끝난 뒤의 대기 시간을 함께 줄여야 음성 AI가 자연스럽게 대화할 수 있다.
이번 기술은 네오사피엔스가 지난 9월 1일 출시한 기업용 음성 AI 서비스 '네오나 에이전트'의 대화 품질을 높이는 데 활용할 수 있다. 네오나 에이전트는 사용자의 말을 듣고 내용을 이해한 뒤 음성으로 응답하며, 고객 상담과 교육 등의 업무를 수행한다.
김태수 네오사피엔스 대표는 "음성 AI가 사람처럼 대화하려면 언제 듣고 언제 말할지를 빠르고 정확하게 판단해야 한다"며 "글로벌 기업의 기술과 같은 기준으로 비교한 평가에서 세계 최상위권의 성능과 빠른 판단 속도를 확인했다"고 말했다.
한편 지난 9월21일 코스닥에 상장한 네오사피엔스는 관련 기술을 지속적으로 고도화해 사용자와 더욱 자연스럽게 대화하는 네오나 에이전트를 구현해 나갈 계획이다.