독파모 2차 평가 앞두고 ‘벤치맥싱’ 논란…문제 풀이 학습해 점수 높였나? 작성일 08-16 37 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="b2wdyW6bIe"> <figure class="figure_frm origin_fig" contents-hash="2f65337de95864a26cb4045f9b6ec7159fc12bde387ba8ace8b4bead65cc1689" dmcf-pid="KVrJWYPKwR" dmcf-ptype="figure"> <p class="link_figure"><img alt="배경훈 부총리 겸 과학기술정보통신부 장관이 3일 오전 전남광주 광산구 국립광주과학관에서 인공지능 로봇이 추는 춤을 바라보고 있다. 연합뉴스" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/16/hani/20260816162132785vtjv.jpg" data-org-width="970" dmcf-mid="BpofmsqFDd" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/16/hani/20260816162132785vtjv.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 배경훈 부총리 겸 과학기술정보통신부 장관이 3일 오전 전남광주 광산구 국립광주과학관에서 인공지능 로봇이 추는 춤을 바라보고 있다. 연합뉴스 </figcaption> </figure> <p contents-hash="f0c872226d10fc61e187403a59cd549032f03b302ba2888c0ec68e23dd849d46" dmcf-pid="9fmiYGQ9EM" dmcf-ptype="general"> 정부의 ‘독자 인공지능(AI) 파운데이션 모델’(독파모) 프로젝트 2차 평가를 앞두고 해외 인공지능 업체들이 국내 참여 기업을 상대로 “벤치마크(성능지표) 점수를 높여주겠다”는 제안을 했다는 주장이 나왔다. 일부 참여사는 실제 해외 업체와 협업했다는 의혹이 제기되고 있다.</p> <p contents-hash="c3283e9299798bc5f10b3346d3ec75fc9c17e74b3dd6b23e8ad866f3450a8a87" dmcf-pid="2fmiYGQ9sx" dmcf-ptype="general">16일 업계 설명을 들어보면, 미국 인공지능 학습 전문업체 애프터쿼리(AfterQuery) 등은 지난달 서울에서 열린 국제머신러닝학회(ICML) 2026에서 독파모 사업에 참여한 국내 개발사들에게 인공지능 모델 학습에 필요한 데이터나 사후학습 기술 등을 제공하는 협력을 제안한 것으로 알려졌다.</p> <p contents-hash="4cfd5623515c918b34f6066e0b7585560c59e3b3d9c7a7e92fd1ca9fde9157fe" dmcf-pid="V4snGHx2IQ" dmcf-ptype="general">과학기술정보통신부는 이르면 다음주께 엘지 인공지능 연구원과 업스테이지, 에스케이(SK)텔레콤, 모티프테크놀로지스 등 최종 후보에 오른 4팀 가운데 탈락자 1팀을 선정할 예정이다. 여기에 벤치마크 평가와 전문가 평가 등이 종합되는데, 기술적으로 점수를 높이는 방식이 논의됐다는 뜻이다.</p> <p contents-hash="ecff2e7298d75a7dc46072b1e8729245973f57b170c84915c8d10ccda6fd5fb0" dmcf-pid="f8OLHXMVDP" dmcf-ptype="general">가장 적극적으로 나선 업체는 지난해 1월 실리콘밸리에서 설립된 애프터쿼리다. 이 회사는 인공지능 학습용 데이터를 만들고, 이를 기반으로 거대언어모델(LLM)의 사후학습을 지원하는 인공지능 데이터·모델 최적화 업체다. 특정 벤치마크에서 모델이 높은 점수를 얻도록 최적화하는 이른바 ‘벤치맥싱’(Benchmaxxing)으로 주목받는다. </p> <p contents-hash="e633265b0a1edf0f9ceae86c073da24872842a3348810b9910a61347d61b1394" dmcf-pid="46IoXZRfw6" dmcf-ptype="general">업계에선 일부 독파모 참여 기업이 애프터쿼리와 협업을 추진한 것 아니냐는 의구심이 제기된다. 4개 참여사 모두 의혹을 부인하고 있지만, 평가를 앞두고 제출된 기술 보고서 등에 비춰봤을 때 의심할 만한 정황이 보인다는 것이다. 다만, 외부 업체로부터 학습 데이터를 구매해 활용하는 것 자체는 독파모 평가 규정을 위반하는 것은 아니다. </p> <p contents-hash="8e98fc0fcf54839ee7ac8ff57a250d86156bf995dd34ad338c90afb8c38720b6" dmcf-pid="8PCgZ5e4m8" dmcf-ptype="general">논란의 핵심은 특정 벤치마크에 대한 최적화 과정에서 평가 데이터가 모델 학습에 활용됐는지 여부다. 최근 인텔리전스 인덱스에서 일부 모델의 벤치마크 점수가 이례적으로 높게 나오자 과도한 모델 튜닝에 따른 데이터 오염 가능성이 제기된 바 있이다. 인공지능 모델 개발에선 모델을 학습시키는 ‘학습 데이터’와 성능을 측정하는 ‘테스트 데이터’를 분리하는 것이 원칙이다. 평가에만 쓰도록 한 테스트 데이터가 학습 과정에 섞이면 인공지능이 문제 해결 원리를 익히는 대신 시험 문제를 통째로 외워 문제를 푸는 일이 생긴다. 이 경우 벤치마크 점수는 높더라도 처음 보는 문제나 실제 업무 활용에선 모델 성능이 기대에 못 미칠 수 있다.</p> <p contents-hash="120d0feff7698db4095c7764db41a529148806c897fc9fdd76585b008db1cc68" dmcf-pid="6Qha51d8D4" dmcf-ptype="general">이에 대해 과학기술정보통신부 쪽은 벤치마크뿐만 아니라 실사용성 등을 종합적으로 평가 한다는 입장이다. 과기정통부 관계자는 “벤치마크 평가뿐만 아니라 전문가들과 (일반 국민) 사용자들이 실제 사용성을 평가하는 등 다양한 기준을 토대로 종합적으로 평가한다”고 설명했다. </p> <p contents-hash="e28d8b66f03b352326f8ba98815a4773c8a10598410311b17ff3f45e7b55478a" dmcf-pid="PxlN1tJ6Df" dmcf-ptype="general">선담은 기자 sun@hani.co.kr 강재구 기자 j9@hani.co.kr</p> </section> </div> <p class="" data-translation="true">Copyright © 한겨레신문사 All Rights Reserved. 무단 전재, 재배포, AI 학습 및 활용 금지</p> 관련자료 이전 얼굴에 붙이면 끝 … 미세전류가 피부 관리 08-16 다음 中 탁구, 유럽서 대형 참사! "10년 전엔 상상도 못했다"…6명 출전했는데 8강 '0명'→3개 대회 연속 男 단식 전멸 08-16 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
