“우리 AI가 1등” 검증해준다…우후죽순 AI에 ‘AI 심판’도 유망 산업 작성일 08-19 55 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="HLPIXUgRYM"> <figure class="figure_frm origin_fig" contents-hash="a7837da2e4846d2e09b00161aa55592ddbff1a4bda60e148caee132f94b67dee" dmcf-pid="XoQCZuaeXx" dmcf-ptype="figure"> <p class="link_figure"><img alt="챗GPT 생성 이미지" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/19/chosun/20260819070214374sqyt.jpg" data-org-width="1672" dmcf-mid="G3ZMjsqFXR" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/19/chosun/20260819070214374sqyt.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 챗GPT 생성 이미지 </figcaption> </figure> <p contents-hash="8f50f3ab6f80110818b58641070e65fed9a24f80e36202436ae2cd1fa1fedbd4" dmcf-pid="Zgxh57NdHQ" dmcf-ptype="general">최근 오픈AI와 앤스로픽 등 주요 인공지능(AI) 기업의 신형 모델 발표 때마다 빠지지 않고 등장하는 이름이 있다. 미국 AI 평가 업체 ‘아티피셜 애널리시스’다. 오픈AI는 지난달 GPT-5.6을 공개하면서 이 업체의 ‘지능 지수(Artificial Index)’를 공식 성능 자료로 제시했고, 앤스로픽도 클로드 오푸스 4.6이 아티피셜 애널리시스의 독립 평가에서 경쟁 모델을 앞섰다고 밝혔다. 엔비디아 역시 블랙웰 칩의 AI 에이전트 처리 능력을 홍보하면서 이 업체의 평가 결과를 인용했다. 사실상 AI 업계의 ‘공인 평가 기관’으로 자리 잡은 것이다.</p> <p contents-hash="caf45b4ee64410f712f84ddf86e02164dbb0e9bd7a374164320d69c0f6ce4408" dmcf-pid="5aMl1zjJ1P" dmcf-ptype="general">AI 모델의 성능과 가격을 검증하는 ‘AI 평가’가 하나의 산업으로 자리 잡고 있다. AI 모델이 수백~수천 종으로 늘어나면서 업체마다 서로 다른 시험 방식과 조건을 적용한 성능 결과를 쏟아냈지만, 이를 동일한 기준으로 한꺼번에 비교하기는 어려웠다. AI를 도입하려는 기업과 투자자 입장에서 여러 모델의 성능과 답변 속도, 이용 비용을 같은 조건에서 비교해주는 ‘AI 심판’의 수요가 커지면서 독립 평가 자체가 새로운 산업으로 성장한 것이다. 시장조사 업체 프레시던스리서치는 세계 AI 모델 평가·벤치마킹 도구 시장이 올해 14억2000만달러(약 2조원)에서 2035년 95억7000만달러로 성장할 것으로 전망했다.</p> <p contents-hash="ebbb95e2b597b1a3cbd68706d50b7383b99692f25dcfd3422505d3b7055f0c82" dmcf-pid="1oQCZuaeH6" dmcf-ptype="general">◇“AI 중 누가 1등인가”</p> <p contents-hash="627e026d498294cd74462b456ac7a22d65c1c764daca94a9444e58b63f044fa4" dmcf-pid="tgxh57NdH8" dmcf-ptype="general">아티피셜 애널리시스는 전 맥킨지 컨설턴트 미카 힐스미스와 소프트웨어 엔지니어 조지 캐머런이 공동 창업했다. 힐스미스가 2023년 AI 법률 검색 서비스를 개발하던 중 모델마다 정확도와 속도, 가격이 다른데 이를 한눈에 비교할 자료가 없다는 점에 착안했다. 두 사람은 주요 AI를 직접 시험하는 비교 대시보드를 만들었고, 2024년 1월 서비스를 공개했다. 이후 냇 프리드먼 전 깃허브 최고경영자와 앤드루 응 스탠퍼드대 교수 등 테크 업계 거물들의 투자를 받았다.</p> <p contents-hash="c2b716360b110e8a468e445631d1213b0bc906c46d2a2f4365643582608fd591" dmcf-pid="FaMl1zjJ54" dmcf-ptype="general">이 업체의 핵심 경쟁력은 AI 업체가 제출한 수치를 옮기는 대신 같은 조건에서 각 모델을 직접 호출해 각종 시험을 진행한다는 점이다. 현재 등록된 모델은 600개가 넘는다. 대표 지표인 ‘지능 지수’는 실제 업무와 도구 사용 능력을 보는 에이전트 평가, 코딩, 과학적 추론, 일반 능력 등 4개 분야의 9개 시험을 종합한다. 에이전트 34%, 코딩과 과학적 추론 각각 24%, 일반 능력 18%를 반영해 100점 만점으로 환산한다. AI 기업들은 지능 지수에서 경쟁 모델을 앞섰다는 점을 주요 성과로 내세울 정도로 이 평가를 신뢰한다. 이 업체는 무료 순위표로 영향력을 확보한 뒤, 세부 데이터와 맞춤형 평가를 각 AI 기업에 유료로 판매하는 식으로 수익을 내고 있다.</p> <p contents-hash="a30b30c6d7d21f511fb988d55d2800f6e7a8d44feb4667a003f89fc1ca34e9c5" dmcf-pid="3NRStqAi5f" dmcf-ptype="general">AI 평가가 돈이 된다는 사실을 가장 극적으로 보여준 곳은 ‘아레나’다. UC버클리 연구 프로젝트 ‘챗봇 아레나’에서 출발한 이 업체는 사용자에게 정체를 가린 두 AI의 답변을 보여주고 더 나은 쪽을 고르게 한다. 실제 이용자가 느끼는 답변 품질을 순위에 반영하는 방식이다. 월간 이용자는 500만명, 대화는 월 6000만건을 넘는다. 아티피셜 애널리시스와 마찬가지로 AI 개발사에 유료로 성능 분석을 제공하는 식으로 수익을 낸다. 지난해 5월 6억달러였던 기업 가치는 올해 1월 17억달러로 3배 이상으로 뛰었다. AI 평가 플랫폼 자체가 유니콘 기업이 된 것이다. 비영리 연구 기관 에포크 AI와 미터(METR)도 각각 AI 학습에 투입되는 컴퓨팅 자원과 성능 향상 추세 등을 분석하며 평가 생태계의 한 축을 담당하고 있다.</p> <p contents-hash="fd833cc17910ec01e96f9abdbfc10759b2af83f11b41174fc56f492b31ff16d2" dmcf-pid="0jevFBcn5V" dmcf-ptype="general">◇평가 영향력 커지자 ‘AI 입시 학원’도</p> <p contents-hash="c760f7e24e772edcdfbb6479cc6c94ad236767b2536154fd1fe8b978a81187d9" dmcf-pid="pAdT3bkLG2" dmcf-ptype="general">평가의 영향력이 커질수록 “심판은 누가 평가하느냐”는 문제도 불거지고 있다. 공개된 시험 문제가 AI의 학습 데이터에 섞이거나 업체가 특정 벤치마크에 맞춰 모델을 훈련하면 점수는 높아져도 실제 능력은 그대로일 수 있기 때문이다. 아레나는 대형 AI 업체에 출시 전 비공개 모델을 반복 시험할 기회를 줬다는 비판을 받았다. 메타가 라마4를 출시하기 전 최대 27개 모델 변형을 아레나에서 시험했다는 것이다. 여러 모델 가운데 점수가 좋은 것만 골라 공개할 수 있어 대형 업체에 유리하다는 지적이다</p> <p contents-hash="ae6368a9eba0a6acd4fc2b97af0b34e291d291d81f6831af4db80d86a58dc577" dmcf-pid="UcJy0KEoH9" dmcf-ptype="general">평가 점수를 높이는 데 필요한 학습 데이터를 공급하는 일종의 ‘AI 입시 학원’도 등장했다. AI 데이터 업체 튜링은 전문가 300여 명을 동원해 코딩과 복합 지시 수행, 도구 사용, 에이전트 업무 등 39만건의 학습 예제를 제작했다. 이를 학습한 모델이 아티피셜 애널리시스 지능 지수에서 52점을 기록했다고 이 업체는 홍보했다. AI 업계 관계자는 “AI 평가를 위한 공통 기준을 만드는 외부 평가 기관은 반드시 필요하다”면서도 “특정 시험 점수 자체가 개발 목표가 되면 실제 성능보다 시험에 잘 맞는 모델을 만드는 경쟁으로 변질될 수 있다”고 했다.</p> </section> </div> <p class="" data-translation="true">Copyright © 조선일보. 무단전재 및 재배포 금지.</p> 관련자료 이전 AI 콘텐츠, 게임·OTT·숏폼의 막강한 도전자로… ‘어텐션 경제’ 판도 흔든다 08-19 다음 애플 ‘집안 기기’ 키우나…홈패드·보안카메라 준비 정황[모닝폰] 08-19 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
