SKT, 에이닷엑스 4.0 지식형 모델 오픈소스 공개

[아이뉴스24 안세준 기자] SK텔레콤(대표 유영상)은 한국어 특화 LLM인 A.X(에이닷 엑스) 4.0을 오픈소스로 공개했다고 3일 밝혔다.

이날 SK텔레콤은 오픈소스 커뮤니티 허깅페이스(Hugging Face)를 통해 A.X 4.0 표준 모델과 경량 모델 2종을 공개했다.

SK텔레콤은 A.X 4.0의 토크나이저를 자체 설계해 적용했다. 이를 통해 높은 수준의 한국어 처리 역량을 구현했다. 토크나이저는 문장의 구조를 분석해 토큰으로 분할하는 작업 도구를 말한다.

SK텔레콤의 자체 테스트 결과에 따르면, 같은 한국어 문장을 입력했을 때 GPT-4o보다 A.X 4.0이 약 33%가량 높은 토큰 효율을 기록했다. 다른 LLM 대비 높은 정보 처리용량에 비용 절감까지 가능한 경제성을 갖췄다는 것이다.

A.X 4.0은 한국어 능력 평가 벤치마크인 KMMLU(한국어 대규모 다중과제 언어 이해 평가)에서도 78.3점을 기록했다. GPT-4o(72.5점)보다 우수한 성능을 보였다. 한국어 및 한국 문화 벤치마크인 CLIcK3)에서도 83.5점을 획득했다.

SK텔레콤은 A.X 4.0를 기업 내부 서버에 직접 설치해 사용할 수 있는 온프레미스 방식으로 제공한다. 이를 통해 기업들이 데이터 보안에 대한 걱정을 덜 수 있도록 서비스할 계획이다. 온프레미스는 클라우드가 아닌 자체 전산 서버에 직접 설치하고 운영하는 방식을 말한다.

SK텔레콤은 A.X 4.0 지식형 모델의 오픈소스 공개와 동시에 추론형 모델의 발표도 앞두고 있다. 이달 중 수학 문제 해결과 코드 개발 능력이 강화된 추론(Reasoning)형 모델을 공개하고, 이미지와 텍스트를 동시에 이해하고 처리할 수 있는 수준까지 모델을 업데이트할 계획이다.

김지원 SK텔레콤 AI Model Lab장은 "SK텔레콤의 다양한 서비스를 고도화하고, 기업 시장에서 한국어 특화 LLM으로 국내 비즈니스 환경에 최적화된 모델이 될 수 있도록 지속적인 기술 개발을 추진할 계획”이라고 말다.