95 읽음
모티프3, 국산 AI 모델 벤치마크 1위 기록
아주경제
0
13일 글로벌 AI 모델 분석 플랫폼 아티피셜 애널리시스(AA)의 '인텔리전스 인덱스(AAII)'에 따르면 모티프의 '모티프3(Motif 3)'는 47점을 기록했다. AAII에 등재된 글로벌 거대언어모델(LLM) 가운데 10위권으로 국내 기업이 개발한 모델 중에서는 가장 높은 순위다.
이어 업스테이지 '솔라 오픈2'가 37점, SK텔레콤(SKT)의 'A.X K2'가 35점, LG AI연구원의 'K-엑사원 2.0'이 31점을 기록했다. 독파모에 참여한 4개 모델의 AAII 점수만 놓고 보면 1위와 4위 간 격차는 16점이다.
AA는 AI 모델 성능, 품질, 비용 등을 종합적으로 분석하는 플랫폼이다. 모델 성능뿐 아니라 가격, 출력 속도, 지연 시간, 컨텍스트 윈도 등 실제 서비스 도입 과정에서 고려하는 지표를 함께 제공한다.
특히 AAII는 수학, 과학, 코딩 등 여러 영역의 벤치마크 결과를 결합해 AI 모델의 종합적인 역량을 평가하는 지표다. 개별 벤치마크가 아닌 복수의 평가 결과를 종합한다는 점이 특징이다. 다만 한국어 능력을 별도로 평가하는 지표는 포함하지 않아 국내 이용 환경에서 모델 성능을 온전히 반영하는 데에는 한계가 있다.
주목할 만한 또 다른 점은 모델 규모와 AAII 성적이 비례하지 않았다는 것이다. 이번 독파모 2차 단계평가에 참여한 모델 가운데 가장 규모가 큰 모델은 LG AI연구원의 K-엑사원 2.0이다. 전체 7500억개(750B) 파라미터 규모로 개발됐다.
SKT의 A.X K2는 688B파라미터로 뒤를 이었다. 반면 AAII에서 가장 높은 점수를 받은 모티프3는 전체 314B 파라미터 규모다. 업스테이지 솔라 오픈2는 250B 파라미터 규모로 구성됐다.
다만 AAII 성적이 독파모 2차 단계평가 결과로 그대로 이어지는 것은 아니다. 독파모 2차 평가는 벤치마크 40점, 전문가 35점, 사용자 25점으로 구성된다. 특히 이번 평가에서는 일반 국민 200명으로 구성된 국민평가단이 4개 모델을 직접 사용한 후 성능을 평가했다.
글로벌 최상위권 모델과 격차도 여전하다. AAII에서 앤트로픽의 '클로드 오푸스5'는 63점으로 모티프3보다 16점 높았다. 오픈AI의 'GPT-5.6 솔'과 xAI의 '그록 4.6'도 각각 61점을 기록했다.
중국 AI 모델 약진도 두드러진다. 문샷AI의 '키미 K3'는 60점으로 GPT-5.6 솔과 불과 1점 차이를 보였다. 알리바바의 '큐원3.8 맥스'는 58점, Z.ai의 'GLM-5.2'는 53점, 딥시크의 'V4 플래시' 최신 모델은 52점을 기록했다. 국내 모델 중 가장 높은 모티프3와 비교해도 각각 5~13점 높은 수준이다.
과기정통부는 조만간 독파모 2차 단계평가 결과를 발표할 예정이다. 이번 평가를 통해 현재 참여 중인 4개 정예팀 가운데 3개 팀이 다음 단계로 진출한다.