네이버·SK·LG AI 모델에 수능 수학 풀게했더니···"대부분 낙제점" 작성일 12-16 24 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">국대AI 5개팀·해외 AI 성능 비교<br>해외 AI는 상위권·국내 모델은 하위권<br>"기준 달라···단순 비교 무리" 해석도</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="8mgHIi0HlM"> <figure class="figure_frm origin_fig" contents-hash="6d9916aecb059cd7dcf7291fc21764f6e215082eeda0d7808208bdfd8273d12d" dmcf-pid="6saXCnpXhx" dmcf-ptype="figure"> <p class="link_figure"><img alt="사진 제공=클립아트코리아" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202512/16/seouleconomy/20251216070307824iwpi.jpg" data-org-width="640" dmcf-mid="V27fUlRfhd" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202512/16/seouleconomy/20251216070307824iwpi.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 사진 제공=클립아트코리아 </figcaption> </figure> <figure class="s_img figure_frm origin_fig" contents-hash="b9fbf4984ae2bc3224f790844339cef57132ba9a70c9787c6bb31738b6eb0148" dmcf-pid="PONZhLUZvQ" dmcf-ptype="figure"> <p class="link_figure"><img alt="김종락 교수팀 제공. 연합뉴스" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202512/16/seouleconomy/20251216070309080cnnv.jpg" data-org-width="195" dmcf-mid="fpv5lou5Ce" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202512/16/seouleconomy/20251216070309080cnnv.jpg" width="195"></p> <figcaption class="txt_caption default_figure"> 김종락 교수팀 제공. 연합뉴스 </figcaption> </figure> <figure class="figure_frm origin_fig" contents-hash="64fe9efba2c2def6783709f74dc20ab6a0bbe6f99aa0a6c7d359fae195d6d9b0" dmcf-pid="QIj5lou5TP" dmcf-ptype="figure"> <p class="link_figure"><img alt="김종락 교수팀 제공. 연합뉴스" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202512/16/seouleconomy/20251216070310310azax.jpg" data-org-width="392" dmcf-mid="4igHIi0HhR" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202512/16/seouleconomy/20251216070310310azax.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 김종락 교수팀 제공. 연합뉴스 </figcaption> </figure> <div contents-hash="9f9270826baaa9d7ab96d4dca9ce7a939e0543c8dbcaed763fe1ce87cbb2605a" dmcf-pid="xJfwLKlwT6" dmcf-ptype="general"> [서울경제] <p>국가대표 인공지능(AI)에 도전하는 한국 팀들의 기존 거대언어모델(LLM) 모델들이 수학 수능 및 논술 문제 풀이에서 해외 모델에 한참 못 미치는 성능을 내는 것으로 분석됐다.</p> </div> <p contents-hash="6f39f3a3d4c85ddb670146dd05ff8a1fdd24e26b643777cbb0ff93edde5a5f27" dmcf-pid="yXCB1m8Bl8" dmcf-ptype="general">16일 정보기술(IT) 업계에 따르면 김종락 서강대 수학과 교수 연구팀이 국내 국가대표 AI 도전 5개 팀의 주요 LLM과 챗GPT 등 해외 5개 모델에게 수능 수학 20문제, 논술 30문제를 풀게 한 결과 이 같은 결과가 나타났다. 연구팀은 수능 문제로는 공통과목, 확률과 통계, 미적분, 기하에서 가장 어려운 문항 5개씩을 뽑아 20문제를 설정했다. 논술 문제는 국내 10개 대학 기출 문제와 인도 대학입시 10문제, 일본 도쿄대 공대 대학원 입시 수학 10문제 등 30문제를 설정해 총 50개 문제를 10개 모델에 풀게 했다.</p> <p contents-hash="3eae455fa8cd7981a65e8c7b3d1c13e64da7c73ada43c9a3805bb5187de08d6a" dmcf-pid="WZhbts6by4" dmcf-ptype="general">한국 모델로는 업스테이지의 솔라 프로-2, LG AI연구원의 엑사원 4.0.1, 네이버의 HCX-007, SK텔레콤의 A.X 4.0(72B), 엔씨소프트 경량모델 라마 바르코 8B 인스트럭트를 활용했다. 해외 모델에는 GPT-5.1, 제미니 3 프로 프리뷰, 클라우드 오푸스 4.5, 그록 4.1 패스트, 딥시크 V3.2 등이 활용됐다. </p> <p contents-hash="bd47827a65a2d41a01a8908788464fd041e21dbfd2b134490522c33c37fd41fd" dmcf-pid="Y5lKFOPKCf" dmcf-ptype="general">결과적으로 해외 모델은 76~92점을 받았지만, 한국 모델은 솔라 프로2만 58점을 받았을 뿐 나머지는 20점대 낮은 점수를 기록했다. 라마 바르코 8B 인스트럭트는 2점으로 가장 낮은 점수를 받았다. 연구팀은 국내 5개 모델의 경우 단순 추론으로는 문제를 대부분 풀지 못해 파이선을 툴로 사용하도록 설계해 문제 적중률을 높였음에도 이런 결과가 나왔다고 설명했다.</p> <p contents-hash="7407f3d2f04cd5a76751fd44e63d1530ff6528373b2814095bca89b2ed338567" dmcf-pid="G1S93IQ9lV" dmcf-ptype="general">이어 연구팀은 대학교 수준부터 교수급 논문 연구 수준까지 난이도를 세분화한 자체 문제 세트 '엔트로피매스' 100문제 중 10문제를 구성해 10개 모델에 문제를 풀게 했다. 여기서도 해외 모델은 82.8~90점을 기록했지만, 국내 모델은 7.1~53.3점으로 낮은 점수를 기록했다. </p> <p contents-hash="037240d8212a7fc8503f2ff937a3a2e9f6eddc7a34e23a5dfcc0099d6cf7601c" dmcf-pid="Htv20Cx2v2" dmcf-ptype="general">세 차례 문제 풀이를 시도해 정답을 맞히면 통과하는 방식을 활용했을 때 그록은 만점, 나머지 해외 모델은 90점을 기록했지만, 한국 모델은 솔라 프로-2가 70점, 엑사원이 60점을 기록했다. HCX-007은 40점, A.X 4.0은 30점, 라마 바르코 8B 인스트럭트는 20점을 기록했다.</p> <p contents-hash="2b853f1eb44be0defe70931e4a38042fe055af65a28104ee53f5bfe828e53c01" dmcf-pid="XFTVphMVv9" dmcf-ptype="general">김 교수는 "주위에서 왜 수능 문제에 대한 국내 5개 소버린 AI 모델 평가가 없는지 문의가 많아 팀원들과 테스트를 진행했다"며 "국내 모델 수준이 해외 프런티어 모델보다 많이 뒤처짐을 알 수 있었다"고 설명했다. 이와 관련해 업계 관계자는 "국내 LLM 모델들이 추론 모드를 탑재하지 않은 경우가 많다"며 "비교 기준이 일치하지 않아 결과를 일반화해 비교하기는 무리가 있다"고 밝혔다. 수학 문제 풀이에는 추론 기능이 필수지만 일부 모델에만 추론 모드가 탑재된 만큼 단순 비교는 무리라는 해석이다. </p> <div contents-hash="23d0b4a25728b46a0e4423623fb3665d5ddb45033222d2902c471005f388423a" dmcf-pid="Z3yfUlRfhK" dmcf-ptype="general"> <p>연구팀은 이번에 쓰인 국내 5개 모델은 기존 공개 버전인 만큼 각 팀의 국가대표 AI 버전이 새로 공개되면 자체 개발 문제로 다시 성능을 테스트할 예정이다. 김 교수는 "엔트로피매스 데이터세트를 기반으로 수학 리더보드를 개설했으며 이를 국제적인 수준으로 키울 것"이라며 "자체 개발 문제 생성 알고리즘과 파이프라인을 개선해 수학뿐 아니라 과학, 제조, 문화 도메인 데이터세트를 생성해 도메인 특화 모델 성능 개선에 기여할 것"이라고 말했다.</p> 양지혜 기자 hoje@sedaily.com </div> </section> </div> <p class="" data-translation="true">Copyright © 서울경제. 무단전재 및 재배포 금지.</p> 관련자료 이전 하지원, 개다리 춤 폭발…신동엽 200만 구독자 축하에 매니저도 ‘백기’ 12-16 다음 '동상이몽2' 조째즈, "남자 홍윤화로 활동중···닮은 꼴 없어질까 위기감" 12-16 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
