SKT, 통신 특화 거대언어모델 '텔코LLM' 6월 출격

A.X, GPT-4, 클로드 등 범용 LLM에 한국어 통신 관련 데이터 학습…"AI 고객센터 등에 활용 가능"

[프라임경제] SK텔레콤(017670)이 5G 요금제, 공시지원금 등 국내 통신 관련 용어와 통신사 내부 지침을 학습한 '텔코LLM'을 오는 6월 전격 출시한다. 

에릭 데이비스 SKT AI 테크 콜라보레이션 담당(왼쪽)과 정민영 SKT AI플랫폼 담당이 30일 서울 중구 SKT타워에서 열린 텔코LLM 설명회에서 취재진 질문에 답하고 있다. = 이인영 기자

SK텔레콤은 30일 서울 중구 SKT타워에서 텔코LLM 설명회를 열고 이같이 밝혔다. 

LLM(거대언어모델)이란 방대한 양의 문장 데이터를 학습해 자연어 처리 작업을 수행하는 데 필요한 지식을 획득한 딥러닝 모델을 말한다. 

텔코LLM은 범용 LLM이 아닌 통신업에 특화된 LLM으로 SK텔레콤의 '에이닷엑스(A.X)', 오픈AI의 'GPT-4', 앤트로픽의 '클로드' 등 다양한 LLM 범용모델을 기반으로 튜닝했다.

SKT는 오픈AI, 앤트로픽 등과 협력해 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집하고 있다. 이 가운데 정형·비정형 데이터를 선별해 에이닷엑스, GPT, 클로드에 학습시킴으로써 통신에 특화된 LLM을 만들고 있다.

SKT는 한국어 버전 서비스를 먼저 시작하고, 해외 기업들과 글로벌 버전 개발에 대한 합의가 마무리되면 글로벌 버전도 출시할 예정이라고 밝혔다.

에릭 데이비스 SKT AI 테크 콜라보레이션(Tech Collaboration)담당은 "1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않다"며 "통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정(파인튜닝)과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티LLM 전략"이라고 설명했다.

멀티LLM 전략이란 통신사들이 AI컨택센터(AICC), 유통망, 네트워크 운용, 사내 업무 등 활용처와 특정 업무마다 최적화된 LLM을 가져다 쓸 수 있도록 하는 것이 골자다. 

 

텔코LLM 구축 과정. ⓒ SK텔레콤

구체적으로 텔코LLM은 데이터를 수집하고 비정형·정형 데이터를 선별, 정제하는 작업을 한다. 이를 기반으로 범용 LLM을 통신사 전용으로 파인튜닝(미세조정)하는 과정을 거치고, 휴먼 피드백 기반의 강화 학습(RLHF)을 한 후 최종 벤치마킹(모델 평가)을 하는 사이클을 거친다.

범용 LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어렵다. 통신 관련 데이터를 추가로 학습해 이 문제를 해결하는 과정이 텔코LLM의 파인튜닝이다. 이같이 파인튜닝이 된 텔코LLM은 휴먼 피드백 기반의 강화학습(RLHF) 과정을 거친다.

SKT는 텔코LLM이 실제로 답변한 내용과 관련해 문맥을 제대로 이해했는지 등을 상담사들이 직접 평가하도록 하고, 낮은 점수를 받으면 관련 데이터를 추가 학습시키는 과정을 반복해 LLM을 고도화했다. 

SKT는 텔코LLM 도입으로 고객센터 상담업무 소요 시간이 대폭 단축될 전망이라고 밝혔다. 

현재 고객센터에서 상담 전화 한 건을 처리하는데 고객 상담에 약 3분, 상담 후 업무 처리하는데 30초 이상이 소요된다. 그러나 텔코LLM을 도입하면 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해줄 수 있다. 

또 기존에는 고객센터에서 상담사가 고객 문의 내용을 정리하고, 필요한 문서를 검색·요약한 다음 상단 내용을 기록해야 해 많은 경험과 교육이 필요했는데, 텔코LLM이 이 과정도 줄여준다는 설명.

아울러 텔코LLM 중 통신 관련 데이터를 입힌 클로드 버전의 경우 AI가 따라야 할 윤리원칙을 철저하게 학습하고 있고 우리나라에서 빠르게 생겨나고 있는 신조어나 한국어 욕설, 위협 폭언 식의 문맥 뉘앙스를 정확하게 파악할 수 있는 장점이 있다.

텔코LLM은 통신사의 네트워크 인프라 운용에도 유용하다. 인프라 운용자는 네트워크 모니터링 과정에서 문제 발생 시 실시간으로 텔코LLM에 질문을 입력해 해결 방안을 답변으로 받아볼 수 있다. 사람이 직접 정보를 찾는 것보다 대응 시간이 단축되는 셈이다.

정민영 SKT AI플랫폼 담당은 "고객센터, 인프라 뿐만 아니라 마케팅·유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것"이라며 "지속해서 텔코LLM을 활용한 유즈케이스를 늘려갈 계획"이라고 말했다.

한편 SKT는 이날 통신사가 생성형 AI 애플리케이션을 효율적으로 구축·개발할 수 있는 '인텔리전스 플랫폼'도 공개했다. 이 플랫폼은 멀티LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등까지 아우르는 일종의 '기업용 AI 개발·운용 패키지'다. 

SK텔레콤은 인텔리전스 플랫폼을 에이닷 등의 서비스 등에 적용 중이며, 적용 사례를 지속 확대할 예정이다.