[테크톡노트] AI 성능 경쟁의 그늘…'벤치맥싱' 뭐길래 작성일 08-15 32 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">리더보드 점수 높여도 실전 성능은 별개…벤치마크 딜레마<br>국내 '독파모' 평가서도 쟁점…비공개·실무 평가 병행론 부상</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="WcyKuHx2HW"> <figure class="figure_frm origin_fig" contents-hash="0018e4f9f3b7e7452ef2faaaf4f5ed494b1f01ca22413e6fb9ebaa145fddad73" dmcf-pid="YkW97XMVZy" dmcf-ptype="figure"> <p class="link_figure"><img alt="[연합 AI 플랫폼 생성 이미지]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/15/yonhap/20260815100150452fwxa.jpg" data-org-width="500" dmcf-mid="Q62jn8OcGH" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/15/yonhap/20260815100150452fwxa.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> [연합 AI 플랫폼 생성 이미지] </figcaption> </figure> <p contents-hash="8f5ef91c3cef77972b1179173c20508bc9553b1e9296fa5aab94e27c08461da4" dmcf-pid="GEY2zZRf1T" dmcf-ptype="general">(서울=연합뉴스) 권하영 기자 = 인공지능(AI) 모델 간 성능 경쟁이 치열해지면서 리더보드 점수를 집중적으로 끌어올리는 이른바 '벤치맥싱(Benchmaxxing)'이 업계 화두로 부상하고 있다.</p> <p contents-hash="964ecaefbb757d7ff1e5bd5b8fd58a82bcbcc1de9440fd760f19527d33f40096" dmcf-pid="HDGVq5e4Yv" dmcf-ptype="general">벤치마크가 AI 모델의 능력을 가늠하는 핵심 척도로 자리 잡으면서, 점수 향상 자체를 최적화 목표로 삼는 관행과 그 한계를 둘러싼 논의가 활발해지는 양상이다.</p> <p contents-hash="85e3220d086cea15f365b89d0bf7ba9385d6b285f934ae8fdb53935de88c79ee" dmcf-pid="XRD1YsqF1S" dmcf-ptype="general"><strong> '벤치맥싱'이란 무엇인가</strong></p> <p contents-hash="baeb4d269c60b8519207417babaa5e1c7d34b6beaf2aa101a4e2f917909df70f" dmcf-pid="ZewtGOB3Zl" dmcf-ptype="general">벤치맥싱은 '벤치마크(benchmark)'와 인터넷 문화에서 파생된 접미사 '-맥싱(-maxxing)'의 합성어다.</p> <p contents-hash="30b1dd7e10aad0f36d4d4ab39351650c578113690aca8737e99f86b94525715b" dmcf-pid="5drFHIb0Hh" dmcf-ptype="general">'-맥싱'은 특정 수치나 목표를 극단적으로 최적화하는 행동 방식을 뜻하는 표현으로, 외모 가꾸기를 극한으로 추구하는 '룩스맥싱(looksmaxxing)', 헬스 기록 극대화를 뜻하는 '짐맥싱(gymmaxxing)' 등의 용례에서 비롯됐다.</p> <p contents-hash="f94a2ff49472041eed755b09bcc0a586db0e8fc1cf0e671f4d2f47c9e420a2c6" dmcf-pid="1Jm3XCKpZC" dmcf-ptype="general">벤치맥싱의 정의는 이렇다. </p> <p contents-hash="9b91c3c7c4f4d95717f332105d39ae1142faeb96a62a1d2acc08e2add79eabf0" dmcf-pid="tis0Zh9UYI" dmcf-ptype="general">AI 모델의 전반적인 능력을 높이는 데 집중하기보다, 공개된 평가 방식이나 특정 문제 유형에 맞춰 사후 학습 데이터와 강화학습 자원을 집중적으로 투입해 리더보드 점수를 극대화하는 관행이다.</p> <p contents-hash="616e28b8d1eaae267f7f73656c21b71015dcbd11a153030a76585ce57c95b76b" dmcf-pid="FnOp5l2uYO" dmcf-ptype="general">단일 기법이 아니라 훈련 데이터 오염, 벤치마크 특화 파인튜닝, 선택적 모델 제출 등 다양한 방식을 아우르는 총칭이기도 하다.</p> <p contents-hash="4d6f333dfd3a3bb98dca6f78230965c5369f5a1c42d9c3d04b2a331bef9c0b41" dmcf-pid="3LIU1SV7Hs" dmcf-ptype="general">훈련 데이터 오염은 벤치맥싱의 가장 흔한 형태다. 대부분의 벤치마크는 문제와 정답이 공개돼 있는데, 웹 크롤링 기반으로 방대한 데이터를 학습하는 대규모언어모델(LLM)의 특성상 벤치마크 문항이 훈련 데이터에 포함될 가능성이 구조적으로 존재한다</p> <p contents-hash="b6d7dfadde479c4f05c79cfb2414602643614f33d024df80c8be1f6ad23b3f0e" dmcf-pid="0oCutvfztm" dmcf-ptype="general">이 경우 모델이 문제를 실질적으로 '풀었다'기보다 사실상 '외운' 것에 가까운 결과가 나올 수 있다.</p> <figure class="figure_frm origin_fig" contents-hash="5317d18f712541cdb4892d1b1ec80f7f79bc013c81618c59a21c66ac63e5b2aa" dmcf-pid="pgh7FT4qYr" dmcf-ptype="figure"> <p class="link_figure"><img alt="메타 [로이터=연합뉴스 자료사진. 재판매 및 DB 금지]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/15/yonhap/20260815100150591wuso.jpg" data-org-width="500" dmcf-mid="x7PwjRvmGG" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/15/yonhap/20260815100150591wuso.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 메타 [로이터=연합뉴스 자료사진. 재판매 및 DB 금지] </figcaption> </figure> <p contents-hash="2164f603e341dd60f6e2e9d86bbf471df22d329e6c2c6b60bbaa16a4b7a99831" dmcf-pid="Ualz3y8B5w" dmcf-ptype="general"><strong> 왜 지금 주목받나</strong></p> <p contents-hash="99b2e4269c2e67ccd3e9e3450e275a399d04fd9fedb13060de333dfb7d43369d" dmcf-pid="uNSq0W6b1D" dmcf-ptype="general">벤치맥싱이 주목받는 배경에는 AI 리더보드가 갖는 막대한 파급력이 있다. </p> <p contents-hash="b3b82225b6f0656f16df0e777301e47845c70ec5a79278daa9331c954a861298" dmcf-pid="7ewtGOB3tE" dmcf-ptype="general">기업의 AI 도입 결정, 투자 유치, 언론 보도 모두 벤치마크 순위를 핵심 근거로 삼는 구조가 굳어지면서, AI 연구소들에게 점수 자체가 실질적인 최적화 목표가 됐다는 진단이 나온다.</p> <p contents-hash="55af1330f0b199190acfacb0f4c661a5311bbdd05d1be61a7f6a01b7e3078164" dmcf-pid="zdrFHIb0tk" dmcf-ptype="general">이와 관련해선 영국 경제학자 찰스 굿하트가 1975년 제시한 '굿하트의 법칙'이 자주 인용된다. "측정치가 목표가 되는 순간, 더 이상 유효한 측정 도구가 아니다"라는 이 원리가 AI 벤치마크에서 그대로 재현되고 있다는 것이다.</p> <p contents-hash="c150bbd3882ab29b8ab37376bfddfe087b5cbe7c0c7d8356821e1d61c9d092c9" dmcf-pid="qJm3XCKpXc" dmcf-ptype="general">실제 옥스퍼드대학교 인터넷연구소(OII) 등이 올해 2월 발표한 연구는 주요 AI·머신러닝 학회에서 활용된 445개 LLM 벤치마크를 검토한 결과, 일부 평가에서 측정하려는 능력에 대한 정의가 불명확하거나 통계적 검증이 충분하지 않은 문제가 발견됐다고 지적했다.</p> <p contents-hash="547e06ffef0e2e9277b4f7254e0e36afb1610f38b534af25b416183a5ff6726f" dmcf-pid="Bis0Zh9UYA" dmcf-ptype="general">벤치마크 포화 현상도 맞물린다. </p> <p contents-hash="f7a62ae1513b5b37e5d0cf335fb925d4f6668e669ed02d1b0ce988d1dab7f3c1" dmcf-pid="bnOp5l2u5j" dmcf-ptype="general">한때 AI 모델 일반 지식 평가의 표준으로 꼽히던 'MMLU(대규모 다중 작업 언어 이해)' 벤치마크에서는 선두권 모델 다수가 2%포인트 안에 밀집하는 수준에 이르렀다. 평가 환경의 미세한 차이만으로도 순위가 뒤바뀔 수 있어 변별력이 약해졌다는 지적이 나온다.</p> <p contents-hash="70b40643a8e760073ac5d1134c10f610d6fcfa7253e21185a3586ab4f3a59545" dmcf-pid="KLIU1SV7tN" dmcf-ptype="general">벤치맥싱 논란을 수면 위로 끌어올린 사건은 지난해 4월 메타의 '라마4' 공개였다.</p> <p contents-hash="23df7c7fa83a7f23843505e827a66eff361054f31e0abfab3fbe8856d7456128" dmcf-pid="9oCutvfzXa" dmcf-ptype="general">당시 메타는 AI 모델 비교 플랫폼 'LM아레나'에서 라마4-매버릭이 높은 순위를 기록했다고 발표했으나, 정작 평가에 쓰인 모델이 인간 선호도에 특화된 실험 버전이었다는 사실이 드러나 논란이 됐다. 이모지 남발, 장문 답변 등 LM아레나 평가 방식에 유리한 방향으로 조정된 버전이었다는 것이다.</p> <p contents-hash="6d362b45b14c3c991d946b55dcfc252297922d9f44afbfb443b01b6d6e0d847b" dmcf-pid="2gh7FT4qHg" dmcf-ptype="general">정식 출시 버전을 재평가한 결과 순위는 크게 떨어졌다. </p> <p contents-hash="7afdae82394f4ce1eba41ef30c4f1a44aa3a303e7a8a8781502eba7888a575d6" dmcf-pid="Valz3y8BGo" dmcf-ptype="general">LM아레나 운영사는 "메타의 정책 해석이 기대에 부합하지 않았다"며 평가 정책을 개정했다.</p> <p contents-hash="f97dd76276787c74926aba9d3ae1b729d8b651046356b60df16a91b86119c57d" dmcf-pid="fNSq0W6bXL" dmcf-ptype="general">메타 측은 "시험 데이터셋으로 훈련한 사실이 없다"고 부인했으나 2025년 11월 메타를 떠난 얀 르쿤 전 수석 AI 과학자가 이듬해 파이낸셜타임스(FT) 인터뷰에서 "결과가 약간 조작됐다"고 언급하면서 논란이 재점화됐다.</p> <figure class="figure_frm origin_fig" contents-hash="692d54aa67f126e38c33c7029e59b1a75671546b66bca407e983ef3804b60ed7" dmcf-pid="4jvBpYPKZn" dmcf-ptype="figure"> <p class="link_figure"><img alt="'독자 AI 파운데이션 모델' 1차 발표회 (서울=연합뉴스) 강민지 기자 = 배경훈 부총리 겸 과학기술정보통신부 장관, 임문영 국가인공지능전략위원회 부위원장, 하정우 AI미래기획수석비서관 등이 30일 오후 서울 강남구 코엑스에서 열린 '독자 AI 파운데이션 모델' 프로젝트 1차 발표회에서 기념촬영을 하고 있다. 2025.12.30 mjkang@yna.co.kr" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/15/yonhap/20260815100150755eepu.jpg" data-org-width="1200" dmcf-mid="yis0Zh9UXY" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/15/yonhap/20260815100150755eepu.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> '독자 AI 파운데이션 모델' 1차 발표회 (서울=연합뉴스) 강민지 기자 = 배경훈 부총리 겸 과학기술정보통신부 장관, 임문영 국가인공지능전략위원회 부위원장, 하정우 AI미래기획수석비서관 등이 30일 오후 서울 강남구 코엑스에서 열린 '독자 AI 파운데이션 모델' 프로젝트 1차 발표회에서 기념촬영을 하고 있다. 2025.12.30 mjkang@yna.co.kr </figcaption> </figure> <p contents-hash="019516fdc192a8719e6018275e901e9c45218c18b306f27641162534288a9a3f" dmcf-pid="84aWhc3G5i" dmcf-ptype="general"><strong> 국내로 번진 쟁점</strong></p> <p contents-hash="3d15287b649a82e255ddac0da10f25969bbbb245e71ab5a522468e0fe248f9b4" dmcf-pid="68NYlk0HtJ" dmcf-ptype="general">벤치맥싱을 둘러싼 논의는 국내에서도 정책 쟁점으로 이어지고 있다. 정부 주도 '독자 AI 파운데이션 모델(독파모)' 프로젝트의 평가 방식이 도마 위에 올랐다.</p> <p contents-hash="b65fd243f03a4356122bc981c09fbf9a77bdbae6679208bba47e61bd871d17d3" dmcf-pid="P6jGSEpXGd" dmcf-ptype="general">지난 독파모 1차 평가는 전체 100점 중 벤치마크 평가에 40점을 배정해 가장 높은 비중을 부여했다. 조만간 발표될 2차 평가에서도 세부 항목은 달라졌지만 총 40점이라는 큰 틀은 유지됐다.</p> <p contents-hash="6c09adaf47f30ed9e25b7a14f3650ec6ecaf3762e8eb08ea6a8476676aee7f33" dmcf-pid="QPAHvDUZ1e" dmcf-ptype="general">업계에서는 찬반이 엇갈린다.</p> <p contents-hash="2ad6cf74ffdc9b9ffa48d01483bb75206d8ea2753f90a91d9560272cb6b42763" dmcf-pid="xQcXTwu5YR" dmcf-ptype="general">모델 간 기초 추론·지식·코딩 능력을 같은 조건에서 비교하기 위한 최소한의 정량 지표로 벤치마크는 여전히 유효하다는 공감대가 있다.</p> <p contents-hash="56e409229eb86be7888504138ebd5b42125b1261e890f84d31599c3e9e420b77" dmcf-pid="yTuJQBcnXM" dmcf-ptype="general">반면 국가대표 모델을 선발하는 사업에서 공개 지표의 비중이 지나치게 높을 경우 '좋은 모델을 만드는 경쟁'과 '좋은 점수를 만드는 경쟁' 사이의 경계가 흐릿해질 수 있다는 우려도 나온다.</p> <p contents-hash="21e6731c2a1e96b50ce64444bee38290b31a9a2425fd404e9d6b4bab6ca7e703" dmcf-pid="Wy7ixbkL5x" dmcf-ptype="general">벤치맥싱 논의가 활발해질수록 대안 평가 방식에 대한 관심도 높아지고 있다. 핵심은 모델이 사전에 접할 수 없는 비공개 평가를 병행하는 것이다. 실제 업무 환경을 반영한 태스크로 구성된 비공개 평가는 오염 가능성을 차단한다는 점에서 공개 벤치마크의 보완재로 주목받는다.</p> <p contents-hash="45c4862b2e95968f190c7ec691ac32acb0b61f5ce6c9c54b1116b5c8e5cc2a8a" dmcf-pid="YWznMKEoXQ" dmcf-ptype="general">다만 벤치마크 자체를 폐기해야 한다는 주장보다는, 단일 지표 의존에서 벗어나 벤치마크와 사용자 평가, 실무 태스크를 결합한 다층적 평가 체계가 필요하다는 의견이 힘을 얻는 추세다.</p> <p contents-hash="82c5f658244d6999027b036b905b6275f4548ec838d988852dedf941b6df3d34" dmcf-pid="GYqLR9DgtP" dmcf-ptype="general">kwonhy@yna.co.kr</p> <p contents-hash="f08a400cd07209ef9807c8b4e04bfd58452fb5c09b44d1c09f02d4885f3ddb74" dmcf-pid="XHbgdVrNH8" dmcf-ptype="general">▶제보는 카톡 okjebo</p> </section> </div> <p class="" data-translation="true">Copyright © 연합뉴스. 무단전재 -재배포, AI 학습 및 활용 금지</p> 관련자료 이전 "노트북 놓는 곳이 개발실" 7시간 만에 게임 만드는 'AI 게임잼' 현장을 가다 08-15 다음 방한 외국인 증가에 미소짓는 스타트업...“사업 확대” [빛이나는비즈] 08-15 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
