“AI 에이전트로 탈옥 리스크 증가… 우선순위로 대응해야” 작성일 07-26 26 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">양종헌 S2W 실장 “AI 탈옥 100% 막기는 어렵다”</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="Ypo051ZvS0"> <figure class="figure_frm origin_fig" contents-hash="ee820acaa3b6de72bcadf088f041c7f79131d0c612060b90e19cdce35c4ef9e2" dmcf-pid="GUgp1t5Th3" dmcf-ptype="figure"> <p class="link_figure"><img alt="양종헌 S2W 통합분석실장이 경기도 판교 사무실에서 AI 탈옥 리스크에 대해 설명하고 있다. 사진 제공=S2W" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/26/seouleconomy/20260726100131373ypab.jpg" data-org-width="1200" dmcf-mid="WK9Crmwalp" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/26/seouleconomy/20260726100131373ypab.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 양종헌 S2W 통합분석실장이 경기도 판교 사무실에서 AI 탈옥 리스크에 대해 설명하고 있다. 사진 제공=S2W </figcaption> </figure> <p contents-hash="d764ccfff4a7d8ef8ed6b3ca327dd59ea96df6f89e992190df78f02f9202ec9a" dmcf-pid="HuaUtF1yCF" dmcf-ptype="general">인공지능(AI)이 에이전트로 발전하면서 AI모델의 탈옥 리스크도 덩달아 커지고 있다. 기업이 모든 취약점에 대응할 수 없는 만큼 우선순위를 두고 대응해야 한다는 지적이 나온다.</p> <p contents-hash="162654d60bd52072b5755566404a4c39ac292319ea56c52bb8bb56c16f245b30" dmcf-pid="X8O4K9b0lt" dmcf-ptype="general">양종헌(사진) S2W 통합분석실장은 최근 경기도 판교 사무실에서 서울경제신문과 만나 “AI 에이전트로 탈옥 성공률이 높아지는 것은 아니지만 탈옥이 초래하는 리스크는 더 커진다”며 이같이 밝혔다. AI 탈옥이란 AI 모델이 지켜야 할 안전 규칙을 우회해 말하면 안 되는 것을 말하게 하거나 해서는 안 되는 행동을 하게 만드는 공격이다.</p> <p contents-hash="a99ccf5254d104f19dec95fe85dbd3a22f3e79337135cf69504367c7f1068b66" dmcf-pid="Z6I892Kph1" dmcf-ptype="general">AI 탈옥은 올해 6월 미국 행정부가 앤트로픽의 AI 모델 ‘미토스5’, ‘페이블5’를 문제 삼은 배경으로도 손꼽혔다. 미국 행정부는 두 모델이 가장 뛰어난 성능을 지닌 반면 탈옥이 가능하다는 점을 들어 접속을 제한했다. 이후 조치는 풀렸지만, AI 모델이 악의적으로 이용될 경우 국가 안보에 위협이 될 수 있다고 본 것이다. 최근에는 오픈AI의 AI 에이전트가 테스트 환경을 탈출해 AI 스타트업 허깅페이스를 해킹하면서 AI 탈옥 리스크를 우려하는 목소리들이 거세졌다.</p> <p contents-hash="4b485a3eacd155f3629a0da302cad150771fbb694c425d153ffc3e1326da504e" dmcf-pid="5PC62V9Uh5" dmcf-ptype="general">양 실장은 AI 에이전트 등 AI 활용 영역이 넓어지면서 탈옥 리스크도 커지고 있다고 지적했다. 과거에는 AI 기술이 챗GPT, 클로드에 묻고 답변을 받는 데서 끝났다면, 이제는 모델 컨텍스트 프로토콜(MCP)과 응용프로그래밍인터페이스(API)를 통해 업무 시스템과 연동돼 파일 읽기, 코드 실행, 이메일 발송, API 호출까지 수행할 수 있기 때문이다. AI 에이전트가 사전에 설정한 가드레일을 벗어나 금지된 행동을 할 수 있는 셈이다.</p> <p contents-hash="7306df94e5c0ebb3850abe7910094ad441a75d1b08929ac890a07773625a9f71" dmcf-pid="1QhPVf2uhZ" dmcf-ptype="general">AI 모델별, 공격 기법별로 탈옥 성공률은 제각각이지만 대체로 높다. 네이처 커뮤니케이션즈에 따르면 GPT-4o의 탈옥 성공률은 61%, 제미나이 2.5 플래시는 71%다. 딥시크-V3는 90%를 기록했다. 양 실장은 “뚫릴 가능성이 1%만 있어도 뚫리는 것이라 성공률 수치 자체는 큰 의미가 없다”며 “AI 모델이 데이터를 압축하고 요약하는 과정에서 기존 데이터가 희석되기도 해 탈옥을 100% 막기는 어렵다”고 지적했다.</p> <p contents-hash="f8b20f4ab774024e52ff3c53adcdc01cb284925b15ff7a263f74f7dd0cfacfcc" dmcf-pid="txlQf4V7yX" dmcf-ptype="general">오픈AI, 앤트로픽 등 AI 기업들은 탈옥에 맞서 가드레일을 강화하고 있다. 가드레일이란 AI 모델이 답변을 내보내기 전에 입력과 출력, 행동을 검사해 위험한 요청·응답을 차단하는 안전장치를 의미한다. 이들은 모델을 출시할 때마다 수개월간 사내외에서 ‘레드팀’을 통해 시스템을 공격해 취약점을 찾는다. AI 소비자 서비스를 제공하는 기업들 역시 외부 보안회사 레드팀에 의뢰해 취약점을 파악한다.</p> <p contents-hash="85266802f71e4e6ae249fb09396a7b5e968d9fbc166785a354551f2de39c3906" dmcf-pid="FMSx48fzhH" dmcf-ptype="general">양 실장은 “공격자들이 원하는 정보를 빼낼 뿐만 아니라 쓸모 없는 질문을 해서 토큰 비용을 많이 나오게 하는 방식, 서비스 작동을 멈추게 하는 공격에 탈옥을 이용할 수 있다”며 “최근 금융회사에서도 외부 레드팀을 의뢰해 취약점을 점검하는 추세”라고 언급했다. 그는 “AI 시대에 기업은 어떻게 AI를 잘 도입할까보다, 어떤 취약점에 우선 대응할까를 고민해야 한다”며 “모든 것을 막을 수는 없으므로 우선순위를 따져 대응해야 한다”고 조언했다.</p> <p contents-hash="2d7c1b722eae8a70aa4a5f43d0ef80ead6838a68082220be47550e7c0ef1d39b" dmcf-pid="3RvM864qSG" dmcf-ptype="general">김지영 기자 jikim@sedaily.com</p> </section> </div> <p class="" data-translation="true">Copyright © 서울경제. 무단전재 및 재배포 금지.</p> 관련자료 이전 [DD 주간브리핑] 'AI 투자·반도체 성적표' 대거 베일 벗는다…KT 과징금 기준 어디까지? 07-26 다음 [이기자의 게임픽] 넥슨게임즈, 신작 완성 '박차'...SAZ·RX·던파키우기 흥행 주목 07-26 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
