AI 성능 재는 ‘벤치마크’, 사람 업무 95%는 평가 못해 작성일 10-18 61 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">AI 영향 일자리 정책 ‘깜깜이’ 우려</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="pT20W0jJGv"> <figure class="figure_frm origin_fig" contents-hash="a0b1c37bfa9128464af3a4e35a362e8335239ca8be0410905463e5fae0b8e135" dmcf-pid="UyVpYpAiYS" dmcf-ptype="figure"> <p class="link_figure"><img alt="/챗GPT 생성" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/18/chosun/20261018141519206mkfj.jpg" data-org-width="1536" dmcf-mid="0T20W0jJ1T" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/18/chosun/20261018141519206mkfj.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> /챗GPT 생성 </figcaption> </figure> <p contents-hash="02d354b8c2fd04712da7baafb57387e585e1f2aa40bfc58217e02ee4f52b4fdd" dmcf-pid="uelkJkztZl" dmcf-ptype="general">인공지능(AI) 성능을 측정하는 일종의 ‘시험’인 벤치마크가 실제 사람 업무의 95%에 달하는 세부 과업을 사실상 평가하지 못하고 있다는 분석이 나왔다. AI 성능이 갈수록 좋아지지만 정작 실제 사람 업무에서 AI가 어떤 능력을 보이는지 평가되지 않아 AI와 일자리 변화 관련 정책 의사 결정에 오류가 발생할 수 있다는 지적이 나온다.</p> <p contents-hash="a8cfafe41d41a4163af8370bf003f7603c3a3625da7951bf327f7ce265b944d7" dmcf-pid="7dSEiEqF5h" dmcf-ptype="general">AI 학습 데이터 기업 ‘머코어’는 지난 15일(현지 시각) 미국 직업별 AI 벤치마크 적용 범위를 보여주는 ‘인터랙티브 지도’를 공개했다. 미 노동부 직업 분류 기준으로 직업 923개와 관련 세부 과업 1만8797개에 자체 선별한 벤치마크 29개를 대입한 것이다. AI의 세부 과업 수행 능력이 벤치마크로 제대로 평가됐는지 보여준다.</p> <p contents-hash="2840d9fa044dc1b62f3b58a8d3afe1a09fa2492326e4c3594e1efc936ba450ae" dmcf-pid="zJvDnDB31C" dmcf-ptype="general">이 지도에 따르면, 전체 직업 923개 중 제대로 평가된 직업은 208개(전체의 22.5%)에 불과했다. 1만8797개의 세부 과업 중 벤치마크가 5문항 이상으로 과업을 제대로 평가한 것은 924개로 전체의 약 5%에 그쳤다.</p> <p contents-hash="6a7897e74724b9e7aacc388b06640b30ca8425b9b56c987797d794c8debee607" dmcf-pid="qiTwLwb0ZI" dmcf-ptype="general">머코어는 “미국인 근로 시간의 90%가 기존 벤치마크로 거의 또는 전혀 다뤄지지 않는 과업에 쓰인다”며 “AI 모델이 미국인이 실제 하는 일을 얼마나 잘하는지 알기는 매우 어렵다”고 밝혔다. 현재의 벤치마크로는 AI가 사람의 일을 대신할 수 있을지 없을지 알 수 없다는 것이다.</p> <p contents-hash="7eaa210ef3e43304eadd77089b92b41cdc9079314a25d84a5bb354aca09cd925" dmcf-pid="BnyrorKpHO" dmcf-ptype="general">벤치마크가 적용된 직업군은 편차가 심했다. 컴퓨터와 수학 분야 직업 36개 중 29개는 벤치마크로 측정됐고, 비즈니스·금융 분야 직업은 48개 중 33개, 법률 분야 직업 7개 중 5개도 벤치마크로 평가됐다. 반면 의료 전문직은 직업 89개 중 12개, 교육·도서관 관련 직업은 62개 중 9개만 벤치마크로 평가됐다.</p> <p contents-hash="dab6ffa9241cb94db1c543014fd30d6d6e7903285d0208d6c08cf9d6351e388f" dmcf-pid="bLWmgm9UGs" dmcf-ptype="general">AI를 쉽게 도입할 수 있고, 바로 돈이 되는 시장부터 벤치마크 평가가 적용된 것이다. 예컨대 변호사 업무는 벤치마크로 측정되지만 이와 AI 노출도가 비슷한 업무인 법률 비서나 법원 서기 업무는 벤치마크로 거의 측정되지 않았다. 머코어는 “규모가 작은 중간 소득의 지식 노동 직업들이 충분히 측정되지 않은 것으로 보인다”고 했다. AI가 빠르게 대체할 수 있는 정형화된 사무 업무일수록 이러한 벤치마크 데이터가 없는 셈이다.</p> <p contents-hash="730f57f70ebeab93336e97dd4507b708e526ba604ff48745172600c367ad2a01" dmcf-pid="KoYsas2u1m" dmcf-ptype="general">실제 많은 업무 과정이 현재의 벤치마크로는 측정할 수 없는 물리적 노동이기 때문에 제대로 된 평가가 이뤄지지 못하는 측면도 있다. 머코어에 따르면 미국 일자리 중 63%가 현재 벤치마크로 담기 어려운 물리적 과업을 포함하고 있었다.</p> <p contents-hash="f90686774ba218f11a6787ace689bfc9fe4a9c293d408598994dd63b41f444bd" dmcf-pid="9gGONOV75r" dmcf-ptype="general">머코어는 “이러한 측정 공백이 해결되지 않으면 AI 능력을 파악하는 데 상당한 사각지대가 생길 것”이라고 본다. 테크 업계 관계자는 “수많은 일자리를 AI가 제대로 대체할 수 있을지 평가가 되지 않는다면 실제 노동 시장과 정책 분야에서 큰 혼란이 나타날 수 있다”고 했다.</p> </section> </div> <p class="" data-translation="true">Copyright © 조선일보. 무단전재 및 재배포 금지.</p> 관련자료 이전 "10억불 피해, 50명 사상 가능해야 AI 모델 차단"…앤트로픽, 미 의회에 제안 10-18 다음 혁신금융위도 패싱...금융위의 이상한 조각투자 사업자 예비인가 10-18 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
