[추석때 읽는 AI 트렌드④]프라이빗 LLM, 기업용 생성 AI 표준 제시

(사진제공=게티이미지뱅크)

글로벌 빅테크부터 신흥 인공지능(AI) 스타트업까지 생성형 AI의 엔진이자 핵심인 프라이빗 ‘거대언어모델(LLM)’ 개발에 앞다투어 뛰어들고 있다.

고성능 LLM에 대한 기업의 니즈가 급증하며 B2B 생성형 AI 시장은 크게 ‘퍼블릭(public) LLM’과 ‘프라이빗(private) LLM’ 진영으로 양분되고 있다.

오픈AI, 구글 등 빅테크가 주도하는 퍼블릭 LLM은 생성형 AI 대중화를 이끌며 초기 시장을 선점했다. 하지만 외부 클라우드 사용으로 데이터 유출 리스크와, 잘못된 정보를 생성하는 환각 현상(할루시네이션) 등의 문제점이 불거졌다. 실제로 애플, 아마존, 삼성전자 등에서 내부 임직원들에게 '챗GPT 경계령’을 내리는 등 보안 이슈로 도입을 꺼리는 기업들이 생겨났다.

이에 대항마로 프라이빗 LLM이 등장하면서 기업용 시장을 공략하고 있다. 프라이빗 LLM은 기업의 내부 데이터만 활용해 보안성을 높이고 거짓 정보를 생성하는 환각 현상(할루시네이션) 방지에 최적화된 모델이다. 여기에 상대적으로 작은 모델 사이즈로 비용 측면에서도 각광받으며 차세대 생성형 AI 시장 대세론을 타고 있다.

프라이빗 LLM의 핵심은 보안성이다. 기업 서버에 설치하는 구축형 ‘온프레미스’(on-premises) 방식이나 전용 프라이빗 클라우드로 도입, 기업의 민감 데이터가 유출될 가능성을 전면 차단한다. 이를 통해 기업들은 LLM 도입의 최대 허들인 데이터 및 민감 정보 유출을 방지할 수 있다.

프라이빗 LLM은 생성형 AI의 고질적인 문제이자 현재 LLM의 최대 한계점으로 꼽히는 할루시네이션 방지에 특화된 모델이다. 프라이빗 LLM은 범용 모델과 달리 기업 내부 데이터로 학습 대상을 제한한다. 그만큼 거짓 정보를 생성할 가능성이 낮아져 사용성을 향상시킨다.

작은 사이즈로도 비용 대비 효과를 극대화한다는 점도 특징이다. 프라이빗 LLM은 보통 100B (1조) 사이즈 이하의 경량 모델로, 흔히 ‘ss(small-scale) LLM’으로 불린다. 이에 비해 오픈AI의 GPT-4 매개변수(파라미터)는 5000억 개로 추산되고, 구글의 ‘제미니’는 조 단위에 이르는 등 모델 사이즈가 상당하다. 매개변수가 큰 만큼 모델 서빙 비용이 상당할 수 밖에 없는 구조다.

프라이빗 LLM은 훨씬 작은 모델 사이즈로도 성능은 빅테크에 필적한다. 예를 들어, 업스테이지는 지난 8월 700억 매개변수 모델로 글로벌 머신러닝 플랫폼 ‘허깅페이스’에서 운영하는 ‘오픈 LLM 리더보드’ 평가 순위에서 챗GPT의 기반인 GPT-3.5 성능을 뛰어넘고 세계 1위를 차지하기도 했다. 추론과 상식 능력, 언어 이해 종합능력 및 할루시네이션 방지 등 4가지 지표 평균에서 빅테크의 거대 모델을 능가한 것이다. 특히, 업스테이지는 자사의 LLM 활용 시 GPT-3.5 대비 비용은 40% 감축하고, 처리 속도는 30% 빠른 것으로 추산했다.

이에 많은 기업들은 프라이빗 LLM의 강점을 내세운 다양한 어플리케이션으로 영토를 확장하고 있다. 일례로 세일즈포스는 최근 대화형 AI 어시스턴트 ‘아인슈타인 코파일럿’을 선보였다. 세일즈포스 데이터 클라우드에 저장된 각종 정형•비정형 데이터를 토대로 콘텐츠와 코드를 생성해 준다. 기업이 보유한 정확한 고객 데이터에 기반해 할루시네이션(환각) 현상이 적고, 데이터는 세일즈포스의 고객관계관리(CRM) 데이터 클라우드에 보관함으로써 안전성도 담보했다.

국내에서는 업스테이지가 독보적이다. 업스테이지는 최근 챗GPT를 뛰어넘은 자사의 허깅페이스 1위 모델을 기반으로 자체 LLM ‘SOLAR (Specialized and Optimized Llm and Applications with Reliability)’를 발표했다. 솔라는 이름처럼 도메인 특화와 최적화에 촛점을 맞추고 기업 데이터를 학습, 정보 유출과 환각 현상을 방지할 수 있는 프라이빗 LLM을 지향한다.

엔씨소프트도 초거대 AI가 아닌 중소형 LLM에 집중하고 있다. 엔씨소프트의 AI 언어모델 바르코는 게임 콘텐츠 창작에 특화된 모델이다. 엔씨소프트는 개인과 기업이 쉽게 활용할 수 있는 소형-중형 규모의 한국어 전용 ‘바르코 LLM’을 우선 공개했으며 해당 모델은 개발 초기 단계부터 엔씨가 직접 선별한 고품질 데이터를 위주로 학습해 사용자가 쉽고 편리하게 비즈니스에 활용할 수 있다는 점이 특징이다.

엔씨는 바르코 LLM을 통해 트위니가 개발한 로봇에게 다양한 임무를 주고 로봇이 수행하는 그 일련의 과정들을 다시 거대언어모델 연구개발(R&D)에 적용한다. 엔씨는 국내 게임사 중 최초로 지난 2011년부터 AI 조직을 운영하고 있다. 현재는 300여 명 규모의 전문 인력이 AI, NLP(자연어처리) 등 고도의 기술을 연구·개발하고 있다.