[단독] 8억원 들인 ‘국가대표 AI’ 수학 시험지… 출제진 “4개월 일정 촉박, 문항 오류율 최대 5%” 고백 작성일 10-13 21 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">초고난도 ‘챌린지’ 문제 3분의 1 해외 수학 문제 플랫폼서 사와<br>일정 촉박해 조기 검수 체계, 다양한 출제자 확보 못해<br>해외 벤치마크는 공개 검증, 오류 신고 보상제 통해 문항 확정</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="yda7s0kLgz"> <p contents-hash="956ecf29ec76bc880d08238c1a1426868794c5294a77787dad2f29aa2a1bd5de" dmcf-pid="WJNzOpEoA7" dmcf-ptype="general">과학기술정보통신부의 ‘독자 AI 파운데이션 모델(국가대표 AI)’ 프로젝트 평가에 쓰인 수학 시험지를 만든 출제진이 “4개월이라는 촉박한 일정이 가장 큰 병목이었다”고 밝혔다. 정부는 이 벤치마크를 만드는 데 8억원을 투입했는데, 모델의 변별력을 가르는 킬러 문항(초고난도 문항)에 속하는 ‘챌린지(Challenge)’ 영역 문제는 총 340문항 중 112문항이 해외 수학 문제 플랫폼 사이언스벤치(Math ScienceBench)에서 사들여 채워진 것으로 나타났다.</p> <figure class="figure_frm origin_fig" contents-hash="e6f745bed712da559bce4265465964c093cfa0a2965df4b1c8f2ba160af55e46" dmcf-pid="Yegum3cngu" dmcf-ptype="figure"> <p class="link_figure"><img alt="배경훈 부총리 겸 과학기술정보통신부 장관이 지난 6일 국회에서 열린 과학기술정보방송통신위원회 국정감사에서 의원 질의에 답하고 있다. /연합뉴스" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/13/chosunbiz/20261013060214624ilsu.jpg" data-org-width="4000" dmcf-mid="Q21ouJtWjB" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/13/chosunbiz/20261013060214624ilsu.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 배경훈 부총리 겸 과학기술정보통신부 장관이 지난 6일 국회에서 열린 과학기술정보방송통신위원회 국정감사에서 의원 질의에 답하고 있다. /연합뉴스 </figcaption> </figure> <p contents-hash="ee1dbbe93855eccd3b4297f158611c5badb7058bcccea7bc87e3a54e017e3748" dmcf-pid="Gda7s0kLkU" dmcf-ptype="general"><strong>◇ 교수·학부생 105명이 출제… “4개월 일정이 근본적인 병목”</strong></p> <p contents-hash="2e80983b1b98a03350614c4fae71dea1c2525b25df94177a0363e2c5cc0f30ff" dmcf-pid="HJNzOpEoop" dmcf-ptype="general">13일 독자 AI 파운데이션 모델 평가 수학 시험지를 만든 출제진이 작성한 논문 ‘수학(SOOHAK)’에 따르면, 출제진은 논문의 ‘한계’ 부분에 “핵심 제약은 제안서 작성, 행정·계약 절차, 분야별 전문가 모집, 문항 수집, 검수까지 전 과정을 단 4개월 안에 끝내야 했다는 점”이라며 “압축된 일정이 가장 근본적인 병목이었다”고 적었다. 일정이 촉박해 검수 체계를 일찍 갖추지 못했고, 다양한 수학 분야의 출제자를 충분히 모으지 못했으며, 문항 품질 문제를 걸러낼 시범 운영도 충분히 하지 못했다고 부연했다.</p> <p contents-hash="f81cd2f774ffa624630c7d5b700766dca87e976bfbb9f4170e96335d7fe9b66c" dmcf-pid="XijqIUDgN0" dmcf-ptype="general">이 논문은 독자 AI 파운데이션 모델의 수학 능력을 평가하는 데이터셋 수학(SOOHAK)의 구축 과정과 일부 예시 문항을 담았다. 연구진은 세계 3대 AI 학회로 꼽히는 뉴립스(NeurIPS)에 투고하기 위해 논문을 작성했다. 독자 AI 파운데이션 모델 평가가 끝날 때까지 전체 문항은 비공개로, 출제진은 올 연말쯤 세부 데이터셋을 공개할 예정이다. 논문의 제1 저자는 손규진 원라인에이아이 공동 창업자로, 한국지능정보사회진흥원(NIA)이 작년 7월 낸 공고를 통해 원라인에이아이가 사업 수행 기관으로 선정됐다. 이 벤치마크는 네이버클라우드와 NC AI가 탈락한 1차 평가와 모티프테크놀로지스가 탈락한 2차 평가에 쓰였다.</p> <p contents-hash="7aa1c256b50bf96215a7f90617871b86f2179c1d08c6b1de7cabae163fa65118" dmcf-pid="ZnABCuwaN3" dmcf-ptype="general">논문에 따르면 데이터셋 구축은 작년 8~12월 이뤄졌으며, 정부 예산 8억원이 투입됐다. 데이터셋 기여자는 총 105명으로, 이 중 교수진이 48%, 대학원생·박사 후 연구원이 23%, 학부생이 25%, 소속 미공개가 5%였다. 연구자 72명은 출제진이 직접 섭외했고, 14명은 출제진이 구축한 웹사이트를 통해 출제 문항을 제시했다. 19명은 사이언스벤치에서 문항을 구매하면서 기여자가 됐다고 설명했다. 이달 국회 과방위 국정감사에서 류제명 과기정통부 2차관은 “(독자 AI 파운데이션 모델 평가) 수학 문제의 경우 카이스트의 저명한 수학 교수가 참여하는 등 데이터셋 구축의 전문성을 충분히 담보했다”고 답한 바 있다.</p> <p contents-hash="4c15ea253c84595b6c4ae1d5ba10d61332de1b0684784fb855364d35218dfd81" dmcf-pid="5Lcbh7rNgF" dmcf-ptype="general">출제진은 연구자들에게 출제 문항 보상으로 총 26만달러(약 3억5000만원)를 지급했다. 문항 난이도에 따라 쉬운 문제에는 1건당 5만원, 최고 난도 문제에는 1건당 500만원을 지급했다. 가장 많은 보상을 받은 상위 5명은 총 6만8000달러(약 9100만원)를 받았다. 1명당 약 1820만원이다. 이들은 주로 교수진이었다고 한다.</p> <figure class="figure_frm origin_fig" contents-hash="4d7f2e4f8142c0d10c3aa658036fc2acd079a3b2f108b8e2951101aae6834413" dmcf-pid="1okKlzmjkt" dmcf-ptype="figure"> <p class="link_figure"><img alt="독파모 수학 시험지를 만든 출제진이 작성한 논문 수학(SOOHAK). /논문 캡처" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/13/chosunbiz/20261013060216068afuw.jpg" data-org-width="783" dmcf-mid="xWm4W9hDcq" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/13/chosunbiz/20261013060216068afuw.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 독파모 수학 시험지를 만든 출제진이 작성한 논문 수학(SOOHAK). /논문 캡처 </figcaption> </figure> <p contents-hash="22f1d87b105e6d5f64dc6d3b208e3aa2107f56da0d0cd0b0d9326ddadae75719" dmcf-pid="tgE9SqsAk1" dmcf-ptype="general"><strong>◇ 검수는 2명이 ‘AI와 대조’… 해외는 ‘공개 검증’ 거쳐 확정</strong></p> <p contents-hash="1a7cbc7e104d24b85acce7fa145b65f3b05d38c48f2e66b82f9b2a654e0e130c" dmcf-pid="FaD2vBOck5" dmcf-ptype="general">연구진이 한계로 꼽은 것은 촉박한 일정이다. 그 여파는 검수 과정에 고스란히 드러났다. 이 데이터셋은 고교 올림피아드 및 대학원 초급 수준 문제인 ‘수학 미니(SOOHAK-Mini)’ 702문항, 고난도 문제인 ‘수학 챌린지(SOOHAK Challenge)’ 340문항, AI가 오류를 알아채고 답을 거부하는지 평가하는 ‘수학 리퓨절(SOOHAK Refusal)’ 99문항으로 나뉜다. 총 1000건이 넘는 응모 문항을 사람이 검토하는 단계는 연구원 단 2명이 맡았다. 이들은 문제를 직접 풀지 않았고 출제자가 제시한 정답과 여러 AI 모델의 답이 일치하는지를 비교해, 의심되는 문항을 출제자에게 되묻는 방식을 썼다. 출제진은 외부 평가 기관에 일부 문항을 표본 검토한 결과 약 5%에 문제 소지가 있었다며, 벤치마크에 실질적 오류가 있는 문항 비율을 최대 5%로 추정했다.</p> <p contents-hash="d2beb8b8b6a857555c909bfeee4abdce2d6a54c82fc02905bbd706741cc2a9cc" dmcf-pid="3NwVTbIkkZ" dmcf-ptype="general">AI가 틀릴 만한 초고난도 문항으로 시험지를 꾸리다 보니, 검증이 까다롭다는 건 해외의 고난도 수학 벤치마크에서도 나타나는 현상이다. 그러나 해외 벤치마크는 공개 검증과 오류 신고 보상제 등을 거쳐 문항을 확정한다. 예를 들어 ‘인류의 마지막 시험(HLE)’ 벤치마크는 2024년 9월 프로젝트 개시를 발표한 뒤 4개월 만인 2025년 1월 첫 버전을 공개했는데, 이때 1차로 석·박사가 문항당 1~3회 검토하고 2차로 AI안전센터(CAIS)가 다시 검토해 문항을 승인했다면서도 “공개 검토 기간을 두고, 커뮤니티 피드백을 받아 데이터셋의 문제를 바로잡을 계획”이라고 조심스럽게 단서를 달았다. 이후 약 두 달 반 동안 오류 신고 보상제와 60여 명의 감사자 표본 검증으로 오류 문항을 걸러낸 뒤 2025년 4월 최종 문항을 확정했다. 반면 독파모 수학 시험지는 구축 직후인 지난해 12월 평가에 투입됐다.</p> <p contents-hash="e64f9fb730285cef0fc022115bf047e0f64efd1baf2b683ce62328c2715ff6dd" dmcf-pid="0jrfyKCENX" dmcf-ptype="general">또 HLE가 세계 최고 AI 모델의 한계를 가늠하는 연구용 도구라면, 수학(SOOHAK)은 국가대표 AI 탈락팀을 가리는 평가용으로 설계됐다는 점에서 검증의 무게가 다르다.</p> <p contents-hash="81425b4e036cdc107987f6c403e90f1fea5d0c3272fa5f8f5e3cad5849373e4f" dmcf-pid="pAm4W9hDkH" dmcf-ptype="general">킬러 문항인 수학 챌린지 340문항 가운데 112문항은 외부에서 사온 것으로 드러났다. 수학 챌린지의 평가 결과를 보면, 구글 제미나이3 프로는 30.4%, 오픈AI GPT-5는 26.4%의 정답률을 보였다. 앤트로픽 오퍼스4.5의 정답률은 10.4%였다. 세계 최고 수준 모델도 10문제 중 2~3문제만 맞힌 셈인데, 이 항목의 약 33%(112문항)는 해외 플랫폼 사이언스벤치에서 대량 구매한 문제라는 점에서 국가대표 AI를 가리는 시험지의 핵심은 정작 해외에서 사들인 문제에 기댔다는 지적이 나온다.</p> <p contents-hash="8edb9510d1d4e127250687bcc92007594c72acec5596a21ebbccaa15ffe33b80" dmcf-pid="UwhxZ8yOgG" dmcf-ptype="general">국회 과학기술정보방송통신위원회 소속 김장겸 국민의힘 의원은 “8억원의 혈세를 들여 국가대표 AI를 가리는 시험지를 만들면서 4개월 만에 서둘러 찍어내고, 1000건이 넘는 문항을 단 2명이 AI 답과 대조만 하고 넘긴 것은 전형적인 주먹구구식 사업 운영”이라고 지적했다. 이어 “기업의 탈락 여부를 가른 시험지에 오류 문항이 섞여 있을 수 있다는 것은 평가의 공정성 자체를 흔드는 문제”라며 “변별력을 좌우하는 킬러 문항의 3분의 1을 해외 플랫폼에서 사다 채운 것도 ‘국가대표 AI’ 평가라는 취지에 맞는지 의문”이라고 했다.</p> <p contents-hash="52c735ac5e694d5351066f6e8bd94c0bf1f1fdd1595520f9e3a3d8f78d698c36" dmcf-pid="urlM56WIoY" dmcf-ptype="general">- Copyright ⓒ 조선비즈 & Chosun.com -</p> </section> </div> <p class="" data-translation="true">Copyright © 조선비즈. 무단전재 및 재배포 금지.</p> 관련자료 이전 달그락달그락···방치된 경로당, 자원순환 일터로 변신[현장] 10-13 다음 '바닥 뚫린 주가, 만회할까' 카카오, 오늘 새 AI 청사진 밝힌다 10-13 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
