모티프, 글로벌 AI 평가서 1위?…‘AAII 점수’ 어디까지 믿어야 하나 작성일 08-14 30 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="pt5UXnGhI8"> <figure class="figure_frm origin_fig" contents-hash="8858ff1fd1b4b232b2c681abe6a0aa6367fd111db351414026eaa52a4af94a6b" dmcf-pid="UF1uZLHlD4" dmcf-ptype="figure"> <p class="link_figure"><img alt="바둑 세계 랭킹 1위 신진서 9단이 현존하는 최고 수준의 바둑 AI 프로그램 카타고(KataGo)와 대국을 펼치고 있다. 연합뉴스" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/14/hani/20260814172155112qbhx.jpg" data-org-width="970" dmcf-mid="zOZWLFiPEx" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/14/hani/20260814172155112qbhx.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 바둑 세계 랭킹 1위 신진서 9단이 현존하는 최고 수준의 바둑 AI 프로그램 카타고(KataGo)와 대국을 펼치고 있다. 연합뉴스 </figcaption> </figure> <p contents-hash="f69d81e347434cc259172c75b306205c3def90b3e2b4eef44b0f5f3739787199" dmcf-pid="u3t75oXSEf" dmcf-ptype="general"> 정부의 ‘독자 인공지능(AI) 파운데이션 모델’(독파모) 프로젝트 2차 평가를 앞두고, 모티프테크놀로지스(모티프)가 엘지(LG) 에이아이연구원과 에스케이(SK)텔레콤 등 대기업을 제치고 글로벌 인공지능 성능 평가에서 1위를 차지해 화제다. 스타트업이 대기업 모델의 절반 수준에도 못 미치는 매개변수(파라미터) 규모로 더 높은 점수를 받았기 때문인데, 모델 체급이 상대적으로 작은 모티프는 어떻게 대기업 모델을 앞설 수 있었을까.</p> <p contents-hash="f26f2e571d9328a759e3e21dfcea2448cd9f94aa16649917e484f21512ff8e5c" dmcf-pid="70Fz1gZvIV" dmcf-ptype="general">14일 글로벌 인공지능 성능 평가 기관 아티피셜 애널리시스의 ‘인텔리전스 인덱스’(AAII)를 보면, 모티프가 개발한 ‘모티프 3’는 47점을 기록해 독파모 프로젝트 참여사 4곳 가운데 가장 높은 점수를 받았다. 업스테이지의 ‘솔라 오픈2 250B’는 37점으로 뒤를 이었고, 에스케이텔레콤의 ‘A.X K2’와 엘지 에이아이연구원의 ‘K-엑사원 2.0’은 각각 35점과 31점을 기록했다.</p> <p contents-hash="47e65c45f725fe5a240ebd1c044e096864471ea8a4f3945122f877a657e0abfe" dmcf-pid="zp3qta5Ts2" dmcf-ptype="general">흥미로운 점은 모델의 크기가 평가 점수와 반드시 비례하진 않았다는 것이다. 4위를 기록한 엘지 에이아이연구원의 K-엑사원 2.0은 총 7500억개(추론 시 370억개 활성화)의 매개변수를 갖춘 반면, 1위인 모티프 3는 이보다 훨씬 작은 총 3140억개(130억개 활성) 수준이다.</p> <figure class="figure_frm origin_fig" contents-hash="94b36bc934c66b5b4a645af66ccbe478031eaf2ad02469228f0f763720df7b3c" dmcf-pid="qYy5vxlwO9" dmcf-ptype="figure"> <p class="link_figure"><img alt="글로벌 인공지능(AI) 성능 평가 기관 아티피셜 애널리시스의 ‘인텔리전스 인덱스’(AAII)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/14/hani/20260814172156350scbp.jpg" data-org-width="723" dmcf-mid="BTz0wKEoDP" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/14/hani/20260814172156350scbp.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 글로벌 인공지능(AI) 성능 평가 기관 아티피셜 애널리시스의 ‘인텔리전스 인덱스’(AAII) </figcaption> </figure> <p contents-hash="0c64de0bd92113c2136b574ef776a596241251a8595f002a043470df71c87f26" dmcf-pid="BGW1TMSrrK" dmcf-ptype="general"> 이를 두고 업계에선 인텔리전스 인덱스 점수만으로 두 모델의 성능을 단순 비교하긴 어렵다고 지적한다. 인텔리전스 인덱스는 9개 개별 벤치마크를 통해 모델의 에이전트 역량과 코딩 능력, 장문 이해, 과학·수학적 추론 등을 평가한 뒤 이를 종합해 하나의 점수로 환산한다. 인공지능 모델의 여러 능력을 가늠할 수 있는 유용한 지표인 건 맞지만, 모든 분야의 성능을 측정하는 것은 아니기에 절대적인 성능 지표로 볼 순 없다는 것이다.</p> <p contents-hash="d0d376dca698bb999f67eb2a9fe9187192f90fe805c4039a86c2c184df4bc791" dmcf-pid="bHYtyRvmwb" dmcf-ptype="general">한 업계 관계자는 “아티피셜 애널리시스는 9개 벤치마크를 기반으로 점수를 내기 때문에 어떤 항목에서 강점을 가진 모델이냐에 따라 결과가 달라질 수 있다”고 설명했다.</p> <p contents-hash="cc263eabe77f7d90f3d1782ce14c0f204a69127c19dc3d992d72b6e5bf9cd8d9" dmcf-pid="KXGFWeTswB" dmcf-ptype="general">특히, 인텔리전스 인덱스는 실제 평가 문항을 공개하진 않지만 문제의 유형을 사전에 공개하고 있다. 이 때문에 자원이 한정된 스타트업은 모델의 여러 능력을 고르게 향상시키기보다 전략적으로 코딩 등 특정 영역에 학습 자원을 집중해 점수를 끌어올렸을 가능성도 제기된다. 최병호 고려대 휴먼인스파이어드 인공지능연구원 연구교수는 “중국 스타트업 문샷 에이아이의 ‘키미 K-3’가 매개변수 3조개가 채 되지 않는 규모로 매개변수 10조개 안팎으로 알려진 오픈에이아이나 앤트로픽의 모델과 비슷한 점수를 내는 것도 같은 맥락”이라고 말했다.</p> <p contents-hash="485974c3073383c714bd355c237cb77a1dfbfc42ccd7df25cb43f6da3679ffad" dmcf-pid="9ZH3YdyOwq" dmcf-ptype="general">결국 이번 인텔리전스 인덱스 결과는 국내 스타트업의 잠재력을 보여준 성과지만, 이를 ‘스타트업 모델이 대기업을 앞섰다’로 확대 해석해선 안 된다는 게 전문가들의 중론이다. 이승현 가천대 스타트업칼리지 겸임교수는 “모티프가 3000억개 규모의 모델로 주목할 만한 성과를 낸 것은 국내 스타트업의 역량을 보여준 고무적인 일”이라면서도 “이 결과만으로 자원과 데이터가 상대적으로 풍부한 대기업 모델보다 전반적인 기술력이 우위에 있다고 보는 것은 무리가 있다”고 평가했다.</p> <p contents-hash="7d5c1e12872a92b669103566f390ad28d592ede308dd947f5e430bf5776e1d70" dmcf-pid="25X0GJWIDz" dmcf-ptype="general">선담은 기자 sun@hani.co.kr</p> </section> </div> <p class="" data-translation="true">Copyright © 한겨레신문사 All Rights Reserved. 무단 전재, 재배포, AI 학습 및 활용 금지</p> 관련자료 이전 통신3사 상반기 '연봉킹' 홍범식 LGU+ 대표…18.2억 수령 08-14 다음 “내가 어느 정도까지 보여줄지 설렌다”… ‘배드민턴 퀸’ 안세영의 이유 있는 자신감 08-14 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
