AI 일탈이 키운 ‘안전 검사’…개발사 안까지 들어간다 작성일 10-12 55 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="YVmTwlx2XE"> <figure class="figure_frm origin_fig" contents-hash="d73caef4ca2f22b18bae3c6b46c1bf515688c2892ccb5cbac38dd1a74a4d8682" dmcf-pid="GfsyrSMVXk" dmcf-ptype="figure"> <p class="link_figure"><img alt="/챗GPT 생성 이미지" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/12/chosun/20261012143714745hmzq.jpg" data-org-width="1672" dmcf-mid="W4tq5uwaGD" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/12/chosun/20261012143714745hmzq.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> /챗GPT 생성 이미지 </figcaption> </figure> <p contents-hash="944e8c1707c207ad7e89c09243d221d42ebff3f825c624c6ca57c0fe47a27207" dmcf-pid="H4OWmvRfXc" dmcf-ptype="general">지난 7월 오픈AI의 ‘허깅페이스 해킹 사건’ 조사에 참여한 것은 개발사 직원들만이 아니었다. 비영리 인공지능(AI) 평가기관 METR의 연구자 2명과 레드우드리서치의 수석과학자가 6일간 오픈AI 안으로 들어가 약 1300개의 AI 실행 기록과 7만건이 넘는 메시지·파일을 들여다봤다. 두 기관이 8월 공개한 조사 보고서에는 AI의 행동 방식과 경위 등이 속속들이 담겼다. AI의 능력과 위험성을 연구하던 외부 기관들이, 실제로 벌어진 AI 사고를 규명하는 역할까지 맡게 된 것이다.</p> <p contents-hash="ba4e8683bec892fdf42881124afd9102b9193a3897473ce714ead73c56b7d48a" dmcf-pid="X8IYsTe4GA" dmcf-ptype="general">AI가 스스로 코드를 실행하고 외부 시스템에 접근하는 능력을 갖추면서, 이를 검사하는 ‘AI 안전 검사’가 새로운 산업으로 떠오르고 있다. 개발사가 “우리 AI는 안전하다”고 설명하는 것만으로 신뢰를 얻기 어려워지자, 위험을 찾아내고 안전장치가 제대로 작동하는지 확인하는 외부 검증 수요가 커진 것이다.</p> <p contents-hash="e0f43562a699c32f9c22a1fe162111c1064f44f8a355df38eb4c74fbec7885dc" dmcf-pid="Z6CGOyd8tj" dmcf-ptype="general">이 분야의 중심에는 METR·레드우드리서치·아폴로리서치·트랜슬루스 같은 소규모 비영리 연구기관들이 있다. METR은 AI가 사람의 개입 없이 복잡한 작업을 수행하는 능력과 통제 상실 위험을 평가한다. 레드우드리서치는 AI가 개발자의 지시를 따르는 척하거나 감시를 피할 때 이를 통제할 방법을 연구한다. 아폴로리서치는 AI가 감독자를 속이거나 시험 상황에 맞춰 행동을 바꾸는 문제에 집중하고, 트랜슬루스는 AI 행동 기록을 분석하는 도구로 이상 행동을 찾아낸다.</p> <p contents-hash="51f3bd8c9b1cb59e89518d290ccfff0edb7282812e2b1cf643fbcd5099ee4afe" dmcf-pid="5HMgQn3GtN" dmcf-ptype="general">최근에는 외부 평가자가 AI 기업 내부에 머물며 개발 과정부터 들여다보는 ‘상주 평가’까지 추진되고 있다. 앤스로픽은 지난달 18일 액센추어의 AI 전문 조직 ‘패컬티’를 통해 상주 평가를 도입하겠다고 발표했다. 평가자에게 직원에 준하는 접근권을 줘 학습 중인 모델과 내부 기록, 안전장치를 확인하고 직원들과 직접 대화하게 한다는 구상이다. 오픈AI도 지난달 22일 외부 기관과 평가할 범위를 사전에 합의하고 필요한 접근권을 제공하는 원칙을 공개했다. 완성된 AI의 답변을 검사하는 데서, 개발사가 AI를 만들고 관리하는 과정까지 검증하는 방향으로 확대되는 것이다.</p> <p contents-hash="6d68c1553ee8868d3d47ff27d3f0e61d070a5918c91a44df2bc6bad65f7157d7" dmcf-pid="1XRaxL0HYa" dmcf-ptype="general">다만 안전 검사의 독립성에 대한 의문도 제기된다. 앤스로픽이 액센추어의 평가 비용을 직접 부담하는 등 검사받는 기업이 검사비를 내는 구조이기 때문이다. 개발사에 불리한 결과를 발표하면 계약이 끊기거나 사업에 타격을 받을 수 있어, 위험성을 제대로 평가하거나 공개하지 못할 수 있다는 우려가 나온다. 앤스로픽도 장기적으로는 공동 기금이나 정부 재원으로 평가 비용을 마련해야 한다고 밝혔다.</p> <p contents-hash="cab0695a671d2bb1cfd5203f2f0502a245ecfd364775508a477b84ce6b2c56cd" dmcf-pid="tZeNMopXZg" dmcf-ptype="general">평가 기관 자체의 관리 능력도 시험대에 올랐다. 앤스로픽과 메타는 외부 보안 평가 업체 이레귤러가 마련한 시험 환경의 설정 오류로 AI가 실제 기업 시스템을 공격한 사건들을 공개했다. 메타의 AI는 실제 웹사이트를 시험용 대상으로 오인해 취약점을 악용하고 데이터베이스를 변경했다. 앤스로픽의 AI는 한 사례에서 악성 소프트웨어 패키지를 실제 인터넷에 배포해 15개 시스템에서 코드가 실행되도록 했다. 앤스로픽은 자사와 평가 업체 양측의 점검·감시가 부족했다고 인정했다. AI의 안전성을 검사하기 위한 환경이 오히려 공격의 통로가 된 것이다.</p> </section> </div> <p class="" data-translation="true">Copyright © 조선일보. 무단전재 및 재배포 금지.</p> 관련자료 이전 [리뷰] 도깨비는 착했다. 착한 과금에 협력 재미 강조한 ‘도깨비의세계’ 10-12 다음 "밟으면 끝장" 가을 길거리 지옥…'은행 악취' 이젠 사라진다 10-12 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
