SKT, 통신사 업무 특화 ‘텔코 LLM’로 고객센터ㆍ네트워크 혁신…6월 출격

▲에릭 데이비스(왼쪽) SKT AI Tech Collaboration담당과 정민영 SKT AI플랫폼 담당이 30일 열린 텔코 LLM 기자설명회에서 질문에 답하고 있다. (사진제공=SKT)

이동 통신사의 고객센터 고객 상담 중 필요한 정보를 검색할 필요 없이 고객 질문에 대한 답변을 자동으로 생성해 추천해주고, 상담 후에는 요약 정리와 사후 업무 및 상급자 보고까지 도와주는 통신 특화 인공지능(AI)이 나온다.

SK텔레콤은 30일 SKT 타워에서 ‘텔코 거대언어모델(LLM) 설명회’를 열고 통신 서비스와 통신사의 내부 지침을 학습한 텔코LLM을 6월 중 개발 완료할 예정이라고 밝혔다.

텔코LLM은 GPT, 클로드 등 범용 LLM과 달리 통신업에 특화된 LLM이다. 통신사의 서비스나 상품, 멤버십 혜택 고객 상담 패턴 등의 정형·비정형 데이터를 기존 범용 LLM에 학습시키고 통신업의 특성에 맞게 미세 조정하는 ‘파인튜닝’을 거친 모델이다.

텔코LLM의 차별점은 SKT의 에이닷엑스(A.X)뿐 아니라 오픈AI의 GPT, 앤트로픽의 클로드 등 다양한 범용모델을 기반으로 한 ‘멀티LLM’ 전략을 차용했다는 것이다. 사용자가 AI컨택센터(AICC), 유통망, 네트워크 운용, 사내 업무 등 활용처와 특정 업무마다 최적화된 LLM을 사용하도록 지원하기 위해서다.

에릭 데이비스 SKT AI 기술 협력 담당은 “1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하는 것은 쉽지 않을 것”이라며 “통신 데이터와 도메인 노하우에 맞춰 조정하는 파인튜닝과 모델평가(벤치마킹)를 거쳐 다양한 텔코LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 SKT만의 멀티LLM 전략”이라고 설명했다.

SKT는 통신 분야 기업들이 범용 LLM보다 텔코 LLM을 사용했을 때 더 높은 수준의 생성형 AI 작업을 수행할 수 있다고 강조했다. 텔코LLM은 데이터 수집 단계부터 통신업 관련 데이터를 수집하고 비정형·정형 데이터를 선별, 정제하는 작업을 거친 덕분이다. 이들이 수집하는 데이터는 △상담 요약 △고객 의도 △상담 주제 △대화 패턴 △정보 조회 △마케팅 지식 검색 등이다. 범용LLM에 해당 데이터를 학습시켜 통신사 전용으로 파인튜닝하는 과정을 거친다.

이후 휴먼 피드백 기반 강화 학습(RLHF)을 진행해 최종적으로 모델 평가를 통해 성능을 고도화한다. 이렇게 되면 AI가 저렴한 요금제 추천, 번호이동 등 복잡한 통신사의 업무를 쉽게 처리할 수 있다.

텔코LLM은 △고객센터 업무 △네트워크 인프라 운용 △기업의 경영지원 업무 등에서 활발하게 활용될 전망이다. 특히 고객센터 업무의 소요 시간이 크게 단축될 것으로 보인다. 고객센터 상담사의 고객 문의 내용 정리와 필요 문서 검색·요약 등의 업무를 텔코LLM이 실시간으로 처리해줄 수 있기 때문이다.

네트워크 인프라 운용에도 텔코LLM이 유용하다. 장애가 발생할 경우 텔코LLM이 빠르게 해결 방안을 찾아줄 수 있다. 텔코LLM은 장비 매뉴얼, 대응 사례 등의 정보를 학습하고 있어 범용 LLM 대비 상황에 맞는 답변을 빠르게 제공할 수 있기 때문이다.

SKT는 텔코LLM 적용 범위를 넓혀 수익성을 높일 방침이다. 정민영 SKT AI플랫폼 담당은 “고객센터, 인프라 뿐만 아니라 마케팅, 법무, HR와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코LLM이 업무 효율성을 높일 것”이라며 “지속적으로 텔코LLM을 활용한 실제 사용 사례를 늘려갈 계획”이라고 했다.

텔코LLM은 6월 내 개발이 완료될 것으로 보인다. SKT는 우선 한국어로 된 텔코LLM을 개발해 자사 고객센터 등에 먼저 적용한 후 글로벌 모델을 출시할 예정이다. 다만 글로벌향 개발이 오래 걸리지는 않을 전망이다. 에릭 담당은 “처음 앤트로픽의 클로드 기반 텔코LLM을 만들 때에는 시간이 오래 걸렸지만 이후 다른 범용 LLM에 적용할 땐 시간이 적게 걸렸다”며 “통신사는 공유하고 있는 표준어나 서비스들이 많아서 글로벌향 개발이 더 쉬울 것”이라고 말했다.