날고 긴다는 AI도 40점 못 넘었다…천재들이 작정하고 만든 ‘인류 마지막 시험’ 작성일 01-31 16 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="QXZSECcnWU"> <figure class="figure_frm origin_fig" contents-hash="ed05105f26778505b177ab2a7984ea2cfcca9c6fd3cf430134af46e3a2eb4e5b" dmcf-pid="xZ5vDhkLlp" dmcf-ptype="figure"> <p class="link_figure"><img alt="기사 이해를 돕기 위한 사진. 클립아트코리아" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202601/31/seouleconomy/20260131030127933jupf.jpg" data-org-width="620" dmcf-mid="8OYoPi8BSz" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202601/31/seouleconomy/20260131030127933jupf.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 기사 이해를 돕기 위한 사진. 클립아트코리아 </figcaption> </figure> <div contents-hash="988dc535ac47f57283c3ea89be927e3ef731ab47d444b3a749686faae4b551a5" dmcf-pid="ylSwLkiPv0" dmcf-ptype="general"> <br> 전 세계 학자들이 머리를 맞대고 인공지능(AI)의 성능을 비교하기 위해 만든 초고난도 시험 문제 ‘인류의 마지막 시험’(Humanity’s Last Exam·HLE)이 공개됐다. <br> <br> 28일(현지시간) 국제 학술지 네이처(Nature)에 따르면 HLE는 전 세계 50개국, 500여 개 연구기관 소속 교수와 연구자 약 1000명이 참여해 만든 초대형 AI 벤치마크다. 수학, 물리학, 화학, 생물학, 공학, 컴퓨터과학, 인문학 등 100여 개 세부 분야에서 총 2500문항이 출제됐다. 단순 지식 암기가 아니라 복합적인 추론과 해석 능력을 요구하는 것이 특징이다. <br> <br> 이 시험은 미국 비영리단체 AI안전센터(CAIS)와 스타트업 스케일AI가 주도해 지난해 1월 처음 공개됐다. 이후 약 1년간 검증 과정을 거쳐 이번에 공식 논문으로 발표됐다. 최근 AI 성능이 빠르게 향상되면서 기존 벤치마크가 더 이상 변별력을 갖지 못하자 AI의 한계를 가늠할 새로운 기준을 만들기 위해 기획됐다. <br> <br> HLE의 가장 큰 특징은 문제 선별 방식이다. 출제진은 문제를 만들 당시 기준으로 최고 성능 AI조차 풀지 못한 문항만을 추려냈다. 이후 전문가 검토를 거쳐 난이도가 충분히 높다고 판단된 문제만 최종 시험에 포함됐다. 수학 문제가 전체의 41%로 가장 많았으며 고대 로마 묘비의 비문 해석, 벌새의 골격 구조 분석 등 인간 전문가 수준의 배경지식을 요구하는 문제도 다수 포함됐다. 글과 이미지를 함께 해석해야 하는 멀티모달 문항도 상당수다. <br> <br> 실제 AI들의 성적은 기대에 크게 못 미쳤다. CAIS가 공개한 평가 결과에 따르면 구글의 ‘제미나이 3 프로’가 38.3%로 가장 높은 점수를 기록했지만, 절반에도 미치지 못했다. 오픈AI의 GPT-5.2는 29.9%, 앤트로픽의 오푸스 4.5는 25.8%, 딥시크 3.2는 21.8%에 그쳤다. <br> <br> 국내 AI 모델들의 성적은 더욱 낮았다. 텍스트 문항만을 대상으로 한 평가에서 LG AI연구원의 ‘엑사원(EXAONE)’은 13.6%, 업스테이지의 ‘솔라 오픈’은 10.5%, SK텔레콤의 ‘A.X K1’은 7.6%에 머물렀다. <br> <br> 이번 시험에는 한국 연구진도 출제자로 참여했다. AI 스타트업 에임인텔리전스의 박하언 최고기술책임자(CTO)와 김대현 연세대 교수 등을 포함해 국내 연구자 6명이 이름을 올렸다. 박 CTO는 “복잡한 계산이 필요한 이산수학 문제를 출제했다”며 “AI가 풀이 과정은 비슷하게 접근하지만 최종 수치에서 오차가 나도록 설계했다”고 설명했다. <br> <br> 다만 연구진은 HLE 결과를 과도하게 해석해서는 안 된다고 선을 그었다. HLE에서 높은 점수를 받았다고 해서 인간처럼 새로운 연구를 주도하거나 범용 인공지능(AGI)에 도달했다고 볼 수는 없다는 것이다. 논문은 “HLE는 AI의 학술적 추론 능력을 평가하는 도구일 뿐 인간 수준의 일반지능을 판단하는 잣대는 아니다”라고 명시했다. <br> <br> 박 CTO 역시 “HLE가 인류의 마지막 벤치마크가 될 것이라고 보지는 않는다”며 “오히려 앞으로 더 복잡하고 현실적인 평가 기준이 필요할 것”이라고 말했다. 실제로 에임인텔리전스는 한국 인공지능안전연구소(AISI)와 함께 AI의 위험한 의사결정을 평가하는 새로운 벤치마크 ‘심판의 날(The Judgement Day)’ 프로젝트도 진행 중이다. AI가 무기 사용이나 민간인 피해 같은 극단적 상황에서 어떤 판단을 내리는지를 검증하는 것이 목표다. <br> <br> </div> <div class="video_frm" dmcf-pid="WSvroEnQl3" dmcf-ptype="embed"> <div class="layer_vod"> <div class="vod_player"> <iframe allowfullscreen class="player_iframe" dmcf-mid="6pOAeaMVT7" dmcf-mtype="video/youtube" frameborder="0" height="370" id="video@6pOAeaMVT7" scrolling="no" src="https://www.youtube.com/embed/ZHPmCYQGtPc?origin=https://v.daum.net&enablejsapi=1&playsinline=1" width="100%"></iframe> </div> </div> </div> <div contents-hash="c8f79c5e6878b2426db2e7fe6eeff2dbdebb91c683cc3f98b9b18111986a1b0f" dmcf-pid="YvTmgDLxSF" dmcf-ptype="general"> <div> 음료 가격 싹 다 오를까? 제안 하루 만에 설탕세 입법 추진 </div> <br> 임혜린 기자 hihilinn@sedaily.com </div> </section> </div> <p class="" data-translation="true">Copyright © 서울경제. 무단전재 및 재배포 금지.</p> 관련자료 이전 키키, 日 ‘나일론즈 넥스트 2026 어워즈’서 ‘K-POP 걸그룹’ 부문 수상 01-31 다음 "끝난 게 아니었다"…이제훈·표예진 포착된 '모범택시' 회동, 시즌4 신호탄? 01-31 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
