[현장] "문서 작업에 탁월" 코난테크놀로지, 한국어 기반 LLM 자체개발

문서 작성에 할애되는 시간·비용 절감…오는 11월 41B 신모델 출시 예정

[프라임경제] 코난테크놀러지(대표 김영섬, 402030)이 17일 콘래드 서울에서 자체 개발한 대규모 언어모델 '코난 LLM(Konan LLM)'을 공개했다.

본 행사의 시작을 알리는 오프닝에서 김영섬 대표는 "국내에서도 다양한 기업들이 LLM 모델 출시를 앞두고 있는데, 이런 환경에서 코난테크놀로지의 LLM이 먼저 시장에 나왔다는 사실에 감사하다"고 전했다.

이어 "코난의 기술로 많은 사람들에게 도움을 주고 국내 인공지능 시장의 발전에 이바지했으면 한다. 또, 이용자들의 피드백을 경청하고 보완할 것"이라고 말했다.

'코난테크놀로지, 온프레미스 LLM 시대를 열다'라는 주제로 임완택 전략기획본부장의 프레젠테이션이 진행됐다.

국내 생성형 AI 시장 개요와 생성형 AI시장 참여자 분류 등에 대해 간단하게 짚고 △코난 LLM 특장점 · 비즈니스 모델에 대해 소개했다. 

 

임완택 전략기획본부장이 '코난테크놀로지, 온프레미스 LLM 시대를 열다'라는 주제로 프레젠테이션을 진행했다. = 안서희 기자

이번에 출시된 코난 LLM은 13.1B 모델로 전체 토큰 4920억개 중 2840억개의  한국어 토큰이 학습돼 있다. 

임완택 본부장은 "코난 LLM은 온-프레미스형으로 제작돼 철저한 보안을 강점으로 띄고있다"며 "때문에 회사 기밀이 외부로 유출되거나 LLM 학습에 회사 데이터가 사용되는 것을 처음부터 방지할 수 있다"고 말했다. 

또한 "벡터 검색 엔진 구동으로 할루시네이션이 적다. 그 이유는 코난서치가 연동돼 있기 때문"이라며 "코난서치는 답변에 명확한 근거와 출처가 '참고문서' 형태로 제시돼 허위 정보일 확률이 낮다"고 전했다. 

거대언어모델에 있어 가장 중요한 문제는 비용이다. 때문에 코난테크놀로지는 학습 토큰은 많이, 파라미터의 수는 줄이는 방식으로 해결했다.

도원철 코난테크놀로지 상무이사가 코난 LLM을 시연하고 있다. ⓒ 코난테크놀로지

코난 LLM의 경우 토큰으로 학습했기 때문에 문서작성에 특화돼 있다. 그중에서도 특히 △문서 초안 생성 △문서 요약 △질의응답 △보고서 △보도자료에 집중돼 있다. 따라서 문서 작성에 할애되는 시간과 비용을 절감시켜 작업 생산성을 향상시킬 목적이다.

이후 도원철 상무이사의 실시간 LLM 시연이 이뤄졌다. 가벼운 문서 작성부터 즉석에서 이뤄지는 질문에도 우수한 답변을 통해 높은 성능을 보여줬다.  

한편, 코난테크놀로지는 11월 중순에 전체 토큰이 7000억개인 41B 모델을 출시할 예정이라고 밝혔다.