"진화하는 AI 상담사"…컨택센터에 부는 'LLM 열풍'

할루시네이션 성능 개선…상담 질 상승 효과

[프라임경제] 해외 빅테크 기업의 걸음에 발맞춰 국내 테크기업도 LLM(large language model)에 대한 관심이 높아지고 있다. 특히 컨택센터 관련 기업들이 LLM을 접목한 서비스 개발에 뛰어들고 있다. 

컨택센터 관련 기업들이 LLM을 접목한 서비스 개발에 뛰어들고 있다. ⓒ 프라임경제

LLM은 초거대 언어모델이다. 한글, 영어 등의 문자 텍스트를 기계가 이해할 수 있도록 벡터값(숫자)로 전환시켜 준다. 

기존 상담 내용을 바탕으로 고객정보를 찾아 리드해주기 때문에 상담사는 고객 이해도가 높은 상태로 응대를 할 수 있다. 상담의 질이 높아지는 게 장점이다.

때문에 대기업뿐만 아니라 중소기업까지 자체 LLM 서비스에 집중하고 있는 이유다.  

국내 중소기업의 대표적인 LLM은 코난테크놀로지의 '코난 LLM'과 솔트룩스의 '루시아'가 있다.

루시아는 솔트룩스에서 올해 초 선보인 LLM이다. 10년 동안 자체 수집한 학습 데이터를 바탕으로 도서 420만권 분량을 학습했다. 1TB 이상 정제된 한국어 초점을 구축했다. 

덕분에 한국어 할루시네이션(환각효과·거짓정보) 성능이 43% 개선됐다는게 업체 측의 설명이다. 이로 인해 금융·법률·의료 같은 전문 분야에서 활용도가 높다. 

코난 테크롤로지는 지난달 자체 LLM인 '코난 LLM'을 선보였다. 코난 LLM은 언어와 비전에 해당하는 △텍스트 △음성 △동영상 △ai 기술 모두 자체 개발됐다. 

대표적인 제품으로 '코난 서치'가 있다. 검색어와 관련한 문서 외에도 의미상 연관있는 단어나 문서를 찾아주는 검색 기능을 비롯해 텍스트에 걸맞은 이미지를 찾아주는 멀티 모델 검색도 제공한다. 

두 기업의 LLM 모델은 보안 이슈를 최대한 낮추기 위해 온프레미스 형태로 구축됐다. 각 기업의 LLM은 '할루시네이션 보완'과 '멀티검색엔진 서비스'를 핵심기술로 내세웠다. 이는 컨택센터 상담사의 업무 호율성을 증가시킬 수 있으며, 동시에 전문성을 높일 수 있다.

코난테크롤로지 관계자는 "대중화된 챗봇에 대규모 언어모델인 LLM을 도입한다면, 정해진 답변 외의 Q&A가 가능해질 것"이라고 말했다.

현재 많은 중소기업은 LLM보다 sLLM(소형 대규모 언어모델)에 집중하고 있다. 이유는 훈련 및 유지를 위한 금액적 부담이 크기 때문이다.

김재은 솔트룩스 랩장은 "많은 기업들은 LLM 기반 비즈니스 모델의 수익 창출 가능성 대비 운영 비용에 대한 부담과 위험이 있어 현실적으로 LLM 서비스를 출시하기 어려운 상황이다. 하지만 초대규모 생성형 AI의 새로운 사용자 경험과 강력한 대화 기능은 당장 활용하기를 원하고 있다. 이러다 보니 가성비 있는 LLM으로 나온 대안이 sLLM이다"라고 설명했다.

이어 "앞으로 AI 추론 가속화 및 최적화 기술은 계속해서 발전할 것이고, 추론용 AI 반도체 시장도 급부상 하고 있기 때문에 LLM 도입에 대한 진입장벽이나 비용 문제는 크게 해소될 것으로 보인다."라며 "앞으로 서비스에 도입되는 언어모델의 크기는 현재의 sLLM 보다 더 커질 가능성이 높다"라고 밝혔다.