뛰는 AI 위에 나는 AI 성능 테스트 작성일 04-13 122 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">고차원 테스트 모델 잇따라<br>양자컴퓨터·단백질 서열 등<br>융합 정보 추론 능력 검증<br>제미나이도 정답률 20% 미만<br>논문 읽고 연구 수행도 시험<br>오픈AI 평가비용 26배 껑충</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="1o4REY5rCl"> <figure class="figure_frm origin_fig" contents-hash="c3dcb5c2ec383a18804079dc1da39bc6952e61391723535a161c99bea04c87f1" dmcf-pid="tg8eDG1mlh" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202504/13/mk/20250413180027527ximl.jpg" data-org-width="999" dmcf-mid="5hnAvUBWlS" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202504/13/mk/20250413180027527ximl.jpg" width="658"></p> </figure> <p contents-hash="4946c3e99f73da1a43bf5b8de79c2e8c2b9c3e06e0742473a5d2c49c7a358efe" dmcf-pid="Fa6dwHtsTC" dmcf-ptype="general">심층적인 문제 해결에 뛰어난 능력을 보이는 추론형 인공지능(AI) 모델들이 속속 등장하고 있는 가운데 이 같은 AI 모델의 성능을 평가하기 위한 테스트(벤치마크)도 진화하고 있다. </p> <p contents-hash="f1ec26813b3a8dfac4de11a188457380501a7ddb8d5275f010c6f03b3ae1b9d7" dmcf-pid="3NPJrXFOSI" dmcf-ptype="general">AI가 고급 수학·과학 등 전문 분야에서 월등한 성능을 발휘하면서 기존 벤치마크로는 능력 분석에 한계가 있다는 지적이 제기돼왔다. 나아가 일부 기업이 자사 AI 모델 성능을 부각시키기 위해 유리한 벤치마크만 선별해 대외적으로 공개하면서 지표 자체에 대한 신뢰도를 스스로 떨어뜨렸다는 비판도 나왔다. 이런 와중에 나날이 똑똑해지고 있는 AI 모델 성능을 보다 객관적으로 파악·측정할 수 있는 고난도 벤치마크가 탄생하고 있다.</p> <p contents-hash="b0c55dcf9b660b02419cd7f2b582f005b29bcadf586e529b7ab3ea39face877a" dmcf-pid="0EegCFuSTO" dmcf-ptype="general">13일 글로벌 AI 업계에 따르면 구글 연구팀은 최근 과학 분야에 대한 대형언어모델(LLM)의 문제 해결 능력을 평가하고자 벤치마크 '큐리(CURIE)'를 개발했다. 큐리는 재료과학, 응집물질물리학, 양자컴퓨팅, 지리공간, 생물 다양성, 단백질 시퀀싱 등 6개 과학 분야에서 580개 문제로 구성된 테스트다.</p> <p contents-hash="c7edb00b11b898928efeea8374f2a476ffd8338ec67912799bf7db86c8f05e02" dmcf-pid="pDdah37vls" dmcf-ptype="general">큐리는 AI 모델이 일반적인 과학 논문 분량의 글을 읽고 수행하는 추론, 멀티모달 이해, 분야별 전문지식 능력 등을 복합적으로 분석한다. 8개 주요 LLM 모델을 측정한 결과 가장 높은 점수를 받은 '제미나이 2.0 플래시'가 정답률이 32%에 머물 정도로 매우 까다롭게 구성됐다.</p> <p contents-hash="8612665e8e04517c7b6b07271d2524922e3a577ac4154172391210d5348230a1" dmcf-pid="UwJNl0zTvm" dmcf-ptype="general">이러한 벤치마크가 탄생하는 건 LLM이 이제는 복잡한 추론을 요구하는 문제 해결에도 능숙해진 추론 특화 모델로 진화하고 있기 때문이다. </p> <p contents-hash="d2f9e7c726171c16668123e2f4c1646573688e70321a80782a94e4c09283257b" dmcf-pid="urijSpqySr" dmcf-ptype="general">챗GPT 개발사인 오픈AI도 지난 2일 AI 에이전트의 연구 능력을 측정하는 새로운 벤치마크 '페이퍼벤치'를 공개했다. 페이퍼벤치는 AI가 논문 주요 내용을 요약하는 것을 넘어 스스로 코드를 작성해 논문에 등장하는 실험을 복제하고 수행할 수 있는지 중점적으로 평가한다.</p> <p contents-hash="2fb72237778e1e83523ea4100169eb2efdac6910621a4667f6922e803d0f0a63" dmcf-pid="7mnAvUBWyw" dmcf-ptype="general">스케일AI는 지난 3일 AI안전센터와 공동 개발한 고난도 벤치마크 'HLE'의 테스트세트를 총 2500개 문항으로 확정했다. 철학을 비롯해 수학·과학·로켓공학 등 100개 이상의 이종 영역에서 난제를 엄선한 것이 특징이다. 구글의 제미나이 2.5 프로, 오픈AI의 o3 미니도 정답률이 20%에 못 미칠 만큼 문제가 까다롭다.</p> <p contents-hash="26fa9021ccf21bb66553c0e9f9bcc1a5969206241684f524610c33db3ed842d4" dmcf-pid="zsLcTubYSD" dmcf-ptype="general">고난도 평가가 가능한 벤치마크가 잇달아 등장하고 있지만 업계에서는 지표 조작 논란도 불거지고 있다. 최근 AI 모델 '라마4'를 공개한 메타는 해당 모델을 벤치마크 맞춤형 버전으로 테스트한 뒤 실제로는 일반 버전을 배포했다는 조작 논란이 일었다. </p> <p contents-hash="d92e5f737839e43f0d57e9892b97695fb5552fd17ea118657fafe12d8a35ab04" dmcf-pid="qOoky7KGyE" dmcf-ptype="general">기업들이 유리한 결과만 골라 발표하고 이를 통해 자사 모델이 '세계 최고 성능'이라고 홍보하는 사례도 빈번하다. 일론 머스크의 AI 기업 'xAI'도 그록3가 벤치마크(AIME 2025)에서 최고라고 주장했지만 일부 지표를 누락한 채 공개했다는 논란이 제기됐다. 이재성 중앙대 인공지능학과 교수는 "각 기업이 자사 모델에 적합한 방식으로 성능을 측정하고 있기 때문에 하나의 통일된 기준을 세우는 것은 현실적으로 어렵다"고 설명했다.</p> <p contents-hash="2fd3c1d6fd9a0e61c5c2d1e37c60fd45493bdcdc5616e4008e30a9e75ae2ffdb" dmcf-pid="BIgEWz9Hlk" dmcf-ptype="general">한편 추론 능력을 강조한 모델들이 잇달아 출현하며 평가에 드는 비용도 급증하고 있다. 전문가들은 비용이 급증하면 독립적인 성능 검증이 어려워질 수 있다고 지적한다. AI 분석업체 아티피셜 애널리시스에 따르면 오픈AI의 GPT-4o 모델 평가비용이 108달러(약 15만원)인 데 비해 추론 모델 o1은 무려 2767달러(약 398만원)가 들었다. 앤스로픽의 클로드 3.6 소네트는 81달러(약 11만원)였지만 클로드 3.7 소네트는 1485달러(약 213만원)에 달했다. </p> <p contents-hash="a46c065f523eda533e51a3ac0ef4c1e61f429c411dd99835a4f6aa4a702056fe" dmcf-pid="bCaDYq2XWc" dmcf-ptype="general">[정호준 기자 / 안선제 기자]</p> </section> </div> <p class="" data-translation="true">Copyright © 매일경제 & mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지</p> 관련자료 이전 LG전자, 현지 생산으로 美가전 1등 굳힌다 04-13 다음 심리 상담해주고 아기 울음소리 분석···단순 챗봇 넘어 '의료·육아 조력자'로[AI 비서, 모든 산업 삼킨다] 04-13 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
