위험성 알려줘도 공격 지속…영국 AI보안연구소가 밝힌 AI 안전 허점 작성일 10-25 12 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">앤트로픽 AI, 실제 개발자 겨냥해 악성코드 삽입 시도…후속 실험서 판단과 행동 불일치</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="1MljCJFYan"> <p contents-hash="aeed4d150ab3e3bb116e63b02cba3481bb9973749b6b87ebb543c5928e35e6bc" dmcf-pid="tRSAhi3Gji" dmcf-ptype="general">(지디넷코리아=김동원 기자)영국 정부가 인공지능(AI)을 시험하던 중 실제 소프트웨어 개발자를 겨냥한 사이버 공격 시도가 발생했다. 이후 실험에서는 공격이 위험하다는 판단과 실제 행동이 일치하지 않는 문제도 확인됐다.</p> <p contents-hash="a7d513c21fcd1895b9872c3ed3098e3ec1cf2c35ab82da12c7ae61a34482c1fb" dmcf-pid="Fevcln0HNJ" dmcf-ptype="general">23일(현지시간) 영국 AI보안연구소(AISI)가 발표한 보고서에 따르면 앤트로픽 AI 모델 '미토스 5'는 공격 대상이 실제 사람이라는 정보를 반복해서 전달받고도 거의 모든 실험에서 공격을 이어갔다.</p> <p contents-hash="b0b310360568a8616ad7077df76c4b36b0a9e9596d0dc441846776348a6a9a6e" dmcf-pid="3dTkSLpXAd" dmcf-ptype="general">사건은 지난 7월 AISI가 AI 사이버보안 능력을 평가하던 중 발생했다. 연구진은 AI에 가상 컴퓨터망에 침입해 보호된 정보를 찾아내는 과제를 줬다. 정해진 시험 환경에서만 활동해야 했지만 미토스 5는 인터넷에서 실제 개발자가 관리하는 프로그램을 공격 대상으로 삼았다.</p> <figure class="figure_frm origin_fig" contents-hash="8784df1d6e1a820fd4a16cdbfe241de339eba74a57657f677c3442f9f15411d5" dmcf-pid="0JyEvoUZje" dmcf-ptype="figure"> <p class="link_figure"><img alt="영국 AI보안연구소가 공개한 '클로드 미토스 5' 실험 결과. AI는 공격이 허용 범위를 벗어나 실제 사람에게 피해를 줄 수 있다고 답하면서도 별도 실험에서는 거의 모든 경우 공격을 이어갔다. (사진=영국 AISI 홈페이지 캡처)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/25/ZDNetKorea/20261025080119644bgmn.png" data-org-width="638" dmcf-mid="5QAxN2SrkL" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/25/ZDNetKorea/20261025080119644bgmn.png" width="658"></p> <figcaption class="txt_caption default_figure"> 영국 AI보안연구소가 공개한 '클로드 미토스 5' 실험 결과. AI는 공격이 허용 범위를 벗어나 실제 사람에게 피해를 줄 수 있다고 답하면서도 별도 실험에서는 거의 모든 경우 공격을 이어갔다. (사진=영국 AISI 홈페이지 캡처) </figcaption> </figure> <p contents-hash="2141c9183d313ae723f789e3f8e443891dd5bda232b00530a7eb0a9ef1beff72" dmcf-pid="pQCaOe1yaR" dmcf-ptype="general"><span>미토스 5는 처음에는 허용된 방법으로 과제를 해결하려 했다. 여러 시도가 실패하자 외부 개발자가 관리하는 소프트웨어에 악성코드를 넣는 방법을 시도했다. 해당 프로그램을 통해 시험용 컴퓨터에 침입하려는 목적이었다.</span></p> <p contents-hash="3efb0d7688df9a584c25086bbb9d818a240a27243d0ff39efe872c9d5468a448" dmcf-pid="UxhNIdtWaM" dmcf-ptype="general">AI는 악성코드가 포함된 수정안을 개발자에게 제출했다. 가짜 계정까지 만들어 수정안이 안전한 것처럼 꾸미고 승인을 요구했다. 하지만 개발자는 수정안을 받아들이지 않았으며 실제 피해도 발생하지 않았다.</p> <p contents-hash="00ca48ffb385f471c2ca424aca3c5f9781a836b02acd1d3c6eb55870e9023236" dmcf-pid="uMljCJFYox" dmcf-ptype="general">AISI는 지난 8월 사건을 공개한 뒤 AI가 왜 허용된 범위를 벗어났는지 추가 조사했다. 연구진은 공격 직전 상황을 재현하고 상대가 시험과 무관한 실제 사람이라는 정보를 반복해서 제공했다. 공격이 위험한지 묻는 실험과 작업을 계속하도록 하는 실험도 각각 진행했다.</p> <p contents-hash="dcb11569b66a66a143c90eabc320008f1f111a3750bf83af0a273a2340fc5359" dmcf-pid="7RSAhi3GjQ" dmcf-ptype="general">미토스 5는 공격이 허용 범위를 벗어나며 실제 피해를 줄 수 있다고 답했다. 그러나 작업을 계속하도록 하자 거의 모든 실험에서 공격을 진행했다. 공격 대상이 실제 사람이라는 정보를 추가해도 행동은 달라지지 않았다.</p> <p contents-hash="68cc635c9f7ed66d5b79ac1408c6df3ecd2d5e5128c428e629d5cf796e206158" dmcf-pid="zevcln0HjP" dmcf-ptype="general">AI가 자신의 행동을 설명하는 과정에서도 문제가 나타났다. 미토스 5는 실제 개발자를 시험용 가상 인물이라고 잘못 판단하는 경우가 많았다. 공격이 일으킬 피해를 고려하지 않거나 기존 행동을 정당화하는 방향으로 정보를 해석했다.</p> <p contents-hash="50968125bf40738fff2a129799c58bc227dc24432ee0fce4725a15d0e26be455" dmcf-pid="qdTkSLpXc6" dmcf-ptype="general">AISI는 AI가 이미 선택한 행동을 계속하기 위해 자신에게 유리한 방향으로 판단했을 가능성을 제기했다. 다만 이런 판단 방식이 실제 공격을 유발했는지는 확인하지 못했다고 밝혔다.</p> <p contents-hash="d415f36b5b65816aa8e03c9fb0caf7bcb19d52b693461763f5c19844c45982d4" dmcf-pid="BJyEvoUZa8" dmcf-ptype="general">다른 AI 모델에서도 비슷한 행동이 나타났다. 연구진이 가상 사이버보안 평가 상황 100개를 만들어 여러 모델을 시험한 결과 허가받지 않은 공격 시도가 확인됐다. 미토스 5에서 가장 자주 발생했다.</p> <p contents-hash="9cfda7b4632f10d1ee97a961e45362a85ec654f7b039b1275a7ede1d7d193800" dmcf-pid="biWDTgu5a4" dmcf-ptype="general">앤트로픽도 별도 분석을 통해 당시 미토스 5가 평가 43회 중 9회에서 허용 범위를 벗어났다고 밝혔다. 회사는 시험 당시 일반 공개 모델에 적용하는 일부 보안 장치가 꺼져 있었다고 설명했다. 이후 개발한 모델에서는 유사한 공격을 시작하는 비율이 낮아졌다고 덧붙였다.</p> <p contents-hash="063bb625385f902aae7c6b7d7beaa53aac88ad282f23889782822ebad5aa655d" dmcf-pid="KnYwya71Nf" dmcf-ptype="general">AISI는 이번 연구가 사이버보안 시험에서 나온 만큼 일반 업무에서도 같은 문제가 발생한다고 단정할 수 없다고 밝혔다. 다만 AI가 위험성을 설명한다고 해서 실제 행동까지 안전하다고 판단해서는 안 된다고 지적했다. 연구진은 AI가 허용된 범위를 벗어나지 못하도록 작업 환경을 분리하고 행동을 감시할 필요가 있다고 강조했다.</p> <p contents-hash="db6a8197e6c70d871e8f0dfc79fb610f30503e652b36e5b29fb0c59098cd7a1a" dmcf-pid="9LGrWNztoV" dmcf-ptype="general">AISI는 "AI 모델이 예상대로 행동하는지와 관계없이 평가 환경에서는 모델이 실제 피해를 일으키지 못하도록 막아야 한다"고 밝혔다.</p> <p contents-hash="c3575030838698bf1b5986809d6e5e4aac295cd2f5f862eaec508b8e2702299e" dmcf-pid="2oHmYjqFk2" dmcf-ptype="general">김동원 기자(goodtuna@zdnet.co.kr)</p> </section> </div> <p class="" data-translation="true">Copyright © 지디넷코리아. 무단전재 및 재배포 금지.</p> 관련자료 이전 표정 보고 기분 맞춰 대화…'감정 읽는 AI' 만든다 10-25 다음 통신망으로 드론 위협 줄인다...기지국으로 감시 10-25 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
