‘국가대표 AI’ 수학 시험지 출제진, 논문 수정하며 한계·경고 통째로 뺐다 작성일 10-16 49 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">독자 AI 파운데이션 모델 평가 수학 시험지 출제진, 논문서 ‘한계’ 대거 들어내<br>일정·검수 체계 지적한 문장 사라져<br>3차 평가 남았는데 출제 분야·방식 논문에 다 나와</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="GPfWfDB3gp"> <p contents-hash="6f6d9c02755e312a775318e7ddf1ca1762fe3ed9983cf147cd3ffd7440c156d7" dmcf-pid="HQ4Y4wb0g0" dmcf-ptype="general">과학기술정보통신부의 ‘독자 인공지능(AI) 파운데이션 모델(독파모)’ 프로젝트 평가에 쓰인 수학 시험지를 만든 출제진이 논문을 수정하며 스스로 밝혔던 한계와 경고를 통째로 뺀 것으로 16일 확인됐다. 수정 논문에는 “4개월이라는 촉박한 일정이 가장 큰 병목이었다”는 고백과 “모델 역량에 관한 중대한 의사 결정에 단일 벤치마크 점수를 부적절하게 사용하는 것”에 대한 경고가 빠졌다. 수정은 조선비즈가 수정 전 논문을 근거로 시험지 구축 과정의 문제를 보도한 직후에 이뤄졌다.</p> <figure class="figure_frm origin_fig" contents-hash="daf0f8477f789756f0e04be3502cca9f357f0c7a8f42cdfd716ce14220030d1e" dmcf-pid="Xx8G8rKpa3" dmcf-ptype="figure"> <p class="link_figure"><img alt="배경훈 부총리 겸 과학기술정보통신부 장관이 지난 6일 국회에서 열린 과학기술정보방송통신위원회 국정감사에 참석해 업무보고를 하고 있다. /연합뉴스" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/16/chosunbiz/20261016163319210kyhc.jpg" data-org-width="3481" dmcf-mid="WknUnyMVku" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/16/chosunbiz/20261016163319210kyhc.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 배경훈 부총리 겸 과학기술정보통신부 장관이 지난 6일 국회에서 열린 과학기술정보방송통신위원회 국정감사에 참석해 업무보고를 하고 있다. /연합뉴스 </figcaption> </figure> <p contents-hash="4027c5af72aaa9f3b2fb21d2e9ef7137997ab1576f10868997af57ec41aed600" dmcf-pid="ZM6H6m9UAF" dmcf-ptype="general"><strong>◇ “검수 뒤늦게, 일정이 병목”… 출제진이 지운 문장들</strong></p> <p contents-hash="951642dd27ba9a98943a493aa5ba6be62379fe666a654571baec59941569a56a" dmcf-pid="5RPXPs2ujt" dmcf-ptype="general">독자 AI 파운데이션 모델 평가용 수학 시험지를 만든 출제진은 지난 13일 AI의 수학 능력을 평가하는 데이터셋 ‘수학(SOOHAK)’ 구축 과정을 다룬 논문의 개정판을 아카이브(arXiv)에 게재했다. 아카이브는 미국 코넬대가 운영하는 논문 사전 게재 사이트로, AI 분야 연구자들이 학회 발표 전에 연구 결과를 공개하는 통로로 주로 쓴다. 수학(SOOHAK) 벤치마크 구축은 원라인에이아이가 맡았고, 논문의 제1 저자는 손규진 원라인에이아이 공동 창업자다. 정부는 이 벤치마크 제작에 8억원을 투입했다.</p> <p contents-hash="13e206c24dcbca8ddcf951a9576574690b20b7eb81db74526bf6aa68842748fc" dmcf-pid="1eQZQOV7o1" dmcf-ptype="general">수정 논문은 결론의 ‘한계’ 단락과 부록 ‘논의 및 한계: 전체 회고’ 단락을 통째로 삭제했다. 출제진은 삭제된 단락에서 “핵심 제약은 제안서 작성, 행정·계약 절차, 분야별 전문가 모집, 문항 수집, 검수까지 전 과정을 단 4개월 안에 끝내야 했다는 점”이라며 “압축된 일정이 가장 근본적인 병목이었다”고 했었다. 또 “그로 인해 검수 체계를 일찍 갖추고, 다양한 분야에서 출제자를 폭넓게 모집하고, 문항의 품질 문제를 파악하기 위해 시범 운영을 반복하는 데 한계가 있었다”고 했었다.</p> <p contents-hash="21e7a72780a40d9040d853f91632c95cf79d844f18e814202eab4fb7b75183f0" dmcf-pid="tdx5xIfzN5" dmcf-ptype="general">벤치마크를 활용하는 데 대한 경고도 사라졌다. 출제진은 수학(SOOHAK)이 AI의 수학적 역량을 파악하는 데 도움을 줄 수 있다면서도, “모델 역량에 관한 중대한 의사 결정에 단일 벤치마크 점수를 부적절하게 사용하는 것”을 주요 위험으로 꼽았다. 그러면서 “이 벤치마크를 수학 능력을 판별하는 완전한 척도가 아닌 하나의 진단 도구로 취급한다”고 적었다. 그러나 이 벤치마크는 출제진 스스로 위험으로 꼽은 중대한 의사 결정에 쓰였다. 네이버클라우드와 NC AI가 탈락한 1차 평가와 모티프테크놀로지스가 탈락한 2차 평가에 쓰였으며, 내년 초 진행될 3차 평가에도 쓰일 예정이다.</p> <p contents-hash="957d2de79d968200bd7e464e936ce71ddb4fd6cc40ce0251d4f2d64127aabf36" dmcf-pid="FJM1MC4qjZ" dmcf-ptype="general">검수 인력이 부족했다는 고백도 지워졌다. 출제진은 삭제된 부록에서 “돌이켜보면 접근성, 표기법, 모호성, 평가의 취약성 문제를 빠르게 짚어낼 상설 전문가 평가단을 마련하는 것이 최선의 방어책이었을 것”이라며 “그러나 우리는 평가단을 투입하는 시간에 제약을 받았다”고 적었다. 이어 “프로젝트 초기에는 전문가를 주로 문항 출제에 투입했고, 더 폭넓은 전문가 검수 역량은 뒤늦게 갖출 수 있었다”고 했다. 논문에 따르면 총 1000건이 넘는 수학(SOOHAK) 문항을 사람이 검토하는 단계는 단 2명이 수행했다. 이들은 출제자가 제시한 정답과 여러 AI 모델의 답이 일치하는지 비교하고, 의심되는 문항을 출제자에게 되묻는 방식을 쓴 것으로 나타났다.</p> <figure class="figure_frm origin_fig" contents-hash="f36a6cbf38d7aa24abd5058bb00663eaee817b2115d36271550063556332aee5" dmcf-pid="3iRtRh8BjX" dmcf-ptype="figure"> <p class="link_figure"><img alt="독파모 수학 시험지를 만든 출제진이 작성한 논문 수학(SOOHAK). /논문 캡처" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/16/chosunbiz/20261016163319508bhnq.jpg" data-org-width="783" dmcf-mid="YoJ0JvQ9aU" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/16/chosunbiz/20261016163319508bhnq.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 독파모 수학 시험지를 만든 출제진이 작성한 논문 수학(SOOHAK). /논문 캡처 </figcaption> </figure> <p contents-hash="ab2b4448a97544a2a649bc35149cc5dc84f5c6c62086d892e3b96bf8bdf1e78c" dmcf-pid="0neFel6bAH" dmcf-ptype="general"><strong>◇ 대수·이산수학 60%, 결함 문항 99개… 논문에 드러난 출제 성향</strong></p> <p contents-hash="7aa0ad2fe379b3617dab8948fed16e6b4d254cca9139496e43f41cb8b62b18d7" dmcf-pid="pRPXPs2ugG" dmcf-ptype="general">독자 AI 파운데이션 모델 프로젝트는 3차 평가를 앞두고 있는데, 시험지 설계를 상세히 담은 논문이 공개돼 출제 성향을 상당 부분 가늠할 수 있게 됐다. 논문에 따르면 전체 1141문항 가운데 59.6%(680개)가 대수·이산수학 분야다. 해석학(233개, 20.4%), 기하학·위상수학(175개, 15.3%)이 뒤를 이었다. 확률·통계(25개, 2.2%)와 응용수학·컴퓨터과학(27개, 2.4%)은 각각 2%대에 그쳤다. 수리논리 문항은 단 1개(0.1%)다. 전체 문항 중 99개는 결함이 있는 문항이다. 조건이 모순되거나, 가정이 빠졌거나, 답이 하나로 정해지지 않는 문제여서 AI가 답을 내놓지 않고 결함을 짚어내야 정답으로 처리된다. 그럴듯하지만 근거 없는 답을 내놓는 AI의 환각을 잡아내려는 장치다.</p> <p contents-hash="56327ff44684d927cd665fff1db06282c1eaccf39bef934fc88802b96db03231" dmcf-pid="UeQZQOV7aY" dmcf-ptype="general">논문에 따르면, 최고 난도 340문항은 출판되지 않은 전문가 수준의 추론이나 여러 틈새 논문을 엮는 방식으로 주로 출제됐다. 고교 올림피아드 및 대학원 초급 수준 문제인 702문항은 주로 국제수학올림피아드(IMO) 등 기존 경시 대회 문제를 변형해 마련했다. 대부분의 정답은 정수(소수점 이하의 값을 갖지 않는 수)다. 출제진은 삭제된 단락에서 “정수 정답을 주된 평가 방식으로 삼은 데서 구조적 한계에 부딪혔다”며 “앞으로는 정수 정답을 넘어서는 평가 형식이 필요하다”고 적었다.</p> <p contents-hash="0b9df22884e45853e9324f7473ebf54a76c83b20cc6e404bcc51d10d45545f48" dmcf-pid="udx5xIfzAW" dmcf-ptype="general">앞서 지난 15일 열린 국회 과학기술정보방송통신위원회 국정감사에서 김장겸 국민의힘 의원은 “과학기술정보통신부와 한국지능정보사회진흥원(NIA)은 의원실의 관련 자료 요청에 대해 ‘독파모 3차 평가에 데이터셋이 사용될 수 있다’며 데이터셋을 만든 기업명을 공개하지 않았는데, 정작 데이터셋을 만든 기업이 논문을 공개하고 문항의 예시도 실었다”고 지적했다. 또 “국가대표 AI 기업의 탈락 여부를 가리는 수학 문제가 제대로 검증되지 못한 채 확정된 것 아니냐”며 “평가의 공정성에 의문이 제기될 수밖에 없다”고 지적했다.</p> <p contents-hash="8ea9a397930e7c728458e5bb70a362d73c74e2a21d9ac02491d0ebfc807e8bbc" dmcf-pid="7JM1MC4qay" dmcf-ptype="general"><a href="https://biz.chosun.com/it-science/ict/2026/10/13/WSM3A6OINJC2LIFUP5C6DGUM2M/" rel="" target="_blank" title="https://biz.chosun.com/it-science/ict/2026/10/13/WSM3A6OINJC2LIFUP5C6DGUM2M/">☞관련기사 [단독] 8억원 들인 ‘국가대표 AI’ 수학 시험지… 출제진 “4개월 일정 촉박, 문항 오류율 최대 5%” 고백</a></p> <p contents-hash="2bd40b294badf9e2da4e3b3c9784204797b3e535f7d2cb059edfea68c9105cd2" dmcf-pid="ziRtRh8BjT" dmcf-ptype="general">- Copyright ⓒ 조선비즈 & Chosun.com -</p> </section> </div> <p class="" data-translation="true">Copyright © 조선비즈. 무단전재 및 재배포 금지.</p> 관련자료 이전 [리뷰] 어떤 전개가 펼쳐질지 예측이 안된다! 멀티 엔딩 즐기는 어드벤처 ‘파멸의 오타쿠’ 10-16 다음 카카오, ‘인적분할’ 소통 강화…“고용·복지 그대로 승계” 10-16 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
