AI 기술 발전 너무 빨라…빅테크 기업, AI 모델 새 평가방식 고심 작성일 11-11 139 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="K11k5paVQ8"> <p dmcf-pid="9LL7nj3I84" dmcf-ptype="general">인공지능(AI) 기술의 급속한 발전으로 기존 AI 모델이 한계를 드러내면서 빅테크 기업들이 새로운 평가 방식에 고심하고 있다.</p> <p dmcf-pid="2LL7nj3I6f" dmcf-ptype="general">9일(현지시간) 파이낸셜타임스(FT) 보도에 따르면 '벤치마크'로 불리는 테스트를 통해 AI 모델의 능력을 평가하는데, 최근 기존 테스트로 신모델을 평가할 경우 정확도가 90%대로 지나치게 높아 새로운 테스트의 필요성이 대두되고 있다.</p> <p dmcf-pid="VhheCyP3QV" dmcf-ptype="general">메타(페이스북 모회사) 관계자는 “업계 발전 속도가 극히 빠르다”면서 “측정 능력이 포화하기 시작했으며 (AI 신모델을) 평가하기가 점점 어려워지고 있다”고 말했다.</p> <p dmcf-pid="fSSJlYxpQ2" dmcf-ptype="general">오픈AI·마이크로소프트·메타·앤스로픽 등이 인간을 대신해 자동으로 업무를 수행할 수 있는 'AI 에이전트' 구축 계획을 발표했는데, 이를 위한 새로운 평가가 필요한 상황이다.</p> <p dmcf-pid="4QQ5PdYcx9" dmcf-ptype="general">대다수 빅테크 기업 자체 벤치마크를 만들고 있는데, 업계 일각에서는 공개적 테스트가 없는 만큼 기술을 어떻게 비교할 수 있을지에 대한 우려를 내놓고 있다.</p> <p dmcf-pid="877IuKwM6K" dmcf-ptype="general">현재 공개된 벤치마크들은 다지선다형 질문을 통해 다양한 주제에 대한 지식을 평가하는데, 이제 이러한 방식은 불필요하며 더 복잡한 테스트가 필요하다는 것이다.</p> <p dmcf-pid="666X8RyjQb" dmcf-ptype="general">기존 벤치마크 중 하나인 'SWE-bench Verified'는 지난 8월 오픈AI 등의 의견을 수렴해 업데이트를 진행했으며, 개발자 플랫폼 '깃허브' 등에서 가져온 실제 문제를 테스트에 이용하고 있다.</p> <p dmcf-pid="PoozLA0C6B" dmcf-ptype="general">오픈AI의 최신 AI 모델인 'GPT-4o'는 이 테스트 결과 41.4%의 문제를 풀었고, 앤스로픽 '클로드 3.5 소넷'은 49%를 해결했다.</p> <p dmcf-pid="QmmPrhVZ6q" dmcf-ptype="general">한 스타트업은 다양한 전문가들로부터 추상적 추론이 필요한 복잡한 질문을 클라우드 소스 형태로 모은 '인류 최후의 시험' 프로젝트를 지난 9월 발표하기도 했다.</p> <p dmcf-pid="xPPZ6eWAQz" dmcf-ptype="general">다만 AI 모델 평가에 대한 명시적 합의가 없는 만큼 기업들이 경쟁사 모델을 평가하거나 사용자들이 이해하기 어려울 수 있다는 전문가 우려도 나온다.</p> <p dmcf-pid="yWWoyZdz87" dmcf-ptype="general">AI 세이프티의 댄 헨드릭스는 “테스트가 공개되지 않으면 재계나 사회 전반에서 (비교에 대해) 말하기 어렵다”고 말했다.</p> <p dmcf-pid="WQQ5PdYcQu" dmcf-ptype="general">김명희 기자 noprint@etnews.com</p> </section> </div> <p class="" data-translation="true">Copyright © 전자신문. 무단전재 및 재배포 금지.</p> 관련자료 이전 관세폭탄·보조금 축소…모두 '협상'에 달렸다 11-11 다음 삼성디스플레이, 2년차 경력자 채용...'퓨엘' 전형 첫 실시 11-11 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
