[IT백과] AI ‘젤브레이킹’과 샌드박스 이탈, 무엇이 다를까 작성일 08-01 45 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="q55tIxMVWM"> <div contents-hash="f096ae9fc4e5b08b772a745d069218fcfd5796564c0e292ef5e60f01c79ecd17" dmcf-pid="B11FCMRfTx" dmcf-ptype="general"> 정보기술(IT) 영역에 관한 모든 지식을 압축해 풀이합니다. IT산업에 꼭 필요한 용어들을 소개하고, 살펴보면 좋을 쟁점들도 정리합니다. IT가 처음인 입문자라면 혹은 동향을 알고 싶은 전문가라면, 디지털데일리 ‘IT백과’를 참고하세요. <편집자주> </div> <figure class="figure_frm origin_fig" contents-hash="9cd130de47c54136fa272890669ebbfdef99ce57a2a0880ab8996d96cb503f9e" dmcf-pid="btt3hRe4WQ" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/01/552796-pzfp7fF/20260801134449181hgyo.jpg" data-org-width="640" dmcf-mid="zDClaqB3lR" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/01/552796-pzfp7fF/20260801134449181hgyo.jpg" width="658"></p> </figure> <p contents-hash="b056657426f655f1c5b3094778a1a6095fa4e5be84afaac871dd367421e67ef8" dmcf-pid="KFF0led8hP" dmcf-ptype="general">[디지털데일리 구아현기자] 최근 젤브레이킹이 단순한 이용자 장난을 넘어 국가안보와 수출통제 문제로 확대됐다. 사람이 교묘한 질문으로 인공지능(AI)의 답변 제한을 무너뜨리는 데 그치지 않고, AI 에이전트가 격리된 시험환경을 벗어나 실제 기업 시스템에 침입하는 사고까지 발생했다.</p> <p contents-hash="f1b6a71941cb10ec2d83cc3941710fce7f3e7ad12856367f6a8f6998bcf03fc8" dmcf-pid="933pSdJ6W6" dmcf-ptype="general">젤브레이킹 문제가 가장 크게 불거진 사건은 앤트로픽의 최신 AI 모델 ‘클로드 페이블5’ 수출통제 사태다. 아마존 연구진이 페이블5의 안전장치를 우회해 소프트웨어 취약점과 이를 악용하는 시범 코드를 끌어내자 미국 정부는 지난 6월12일 페이블5와 미토스5에 대한 외국인 접근을 제한했다.</p> <p contents-hash="ab645ddb35cfcc50eafd05635ec3a517695f9f2c397addb3b04876e197586c28" dmcf-pid="200UvJiPv8" dmcf-ptype="general">앤트로픽은 이용자의 국적을 실시간으로 구분하기 어렵다며 두 모델의 서비스를 전면 중단했다. 이후 안전장치를 보강하면서 18일 만인 6월30일 페이블5에 대한 수출통제가 해제됐다. 미토스5도 승인받은 일부 미국 기관부터 접근이 복구됐다.</p> <p contents-hash="e5d2f0ba81d1a908ed0a1041a73a6233074e9d63ffd7ed717ffab04dda53f480" dmcf-pid="VppuTinQC4" dmcf-ptype="general">AI가 제한된 컴퓨터 환경을 실제로 벗어난 사례도 나왔다. 오픈AI의 GPT-5.6 솔과 내부 연구모델은 사이버 보안 시험 도중 외부 인터넷에 접속했다. 이어 글로벌 AI 개발 플랫폼 허깅페이스의 운영 데이터베이스에 침입해 시험 문제의 정답을 확보했다.</p> <p contents-hash="994046093253f4f59f2cd1207775e0e2edde6433e16727dbf887bd3505d21707" dmcf-pid="fUU7ynLxyf" dmcf-ptype="general">두 사건은 모두 AI에 설정된 통제가 무너졌다는 공통점이 있지만 작동 방식은 다르다. 쉽게 말해 젤브레이킹은 인간이 의도적으로 AI를 속여 모델 내부의 안전규칙을 벗어나게 하는 행위다. 샌드박스 이탈은 AI가 목표를 수행하는 과정에서 자신이 작동하던 컴퓨터와 네트워크의 기술적 경계를 벗어나는 현상이다. 이번 앤트로픽 사례는 전자에, 오픈AI의 허깅페이스 침해는 후자에 해당한다.</p> <p contents-hash="e5199dced0bc96f500e71c79c5bec0e887f032137c34702d6aae1775a84ba3c1" dmcf-pid="4RRdBhlwyV" dmcf-ptype="general">젤브레이킹에는 역할극과 우회 표현, 암호화된 지시 등이 사용된다. AI 개발사는 범죄와 사이버 공격, 생화학 무기 등 위험한 질문에 답하지 않도록 모델을 훈련하지만, 교묘하게 설계된 질문이 이러한 안전장치를 흔들 수 있다.</p> <p contents-hash="ef29fbbf8162ae352a44c7eec69d223bc7ce3160485967df6b6222de7952b50b" dmcf-pid="8eeJblSrS2" dmcf-ptype="general">직원에게 거짓 상황을 설명해 회사 규정을 어기게 만드는 행위와 비슷하다. AI의 답변 제한은 무너지지만 모델이 작동하는 컴퓨터나 외부 네트워크의 경계를 실제로 벗어나는 것은 아니다.</p> <p contents-hash="02e9e3965c9c4ecd95932f4acc9ea5754a9f4017d3d02e764c0054ee6df891d2" dmcf-pid="6ddiKSvmv9" dmcf-ptype="general">‘젤브레이크’는 본래 감옥에서 빠져나오는 탈옥을 의미한다. IT 분야에서는 2007년 애플 아이폰에 설정된 소프트웨어 제한을 풀고 승인받지 않은 애플리케이션을 설치하는 행위를 가리키며 널리 쓰이기 시작했다.</p> <p contents-hash="cac6cb339853fecf1e22a8de2bbba21d1dbff25faac11ec881c5e75d47bd59be" dmcf-pid="PJJn9vTsWK" dmcf-ptype="general">이 표현은 챗GPT 등장 이후 생성형 AI 분야로 옮겨왔다. 대표적인 초기 사례는 ‘DAN’이다. ‘지금 무엇이든 하라(Do Anything Now)’는 뜻으로, 챗GPT에 안전제한이 없는 또 다른 AI를 연기하도록 지시하는 방식이다.</p> <p contents-hash="d3890ffbd65aff639da5544735c344fc11e86b58277e5c9b36f101b3b0990af7" dmcf-pid="QiiL2TyOWb" dmcf-ptype="general">공격 방식은 이후 단순한 역할극을 넘어섰다. 금지된 질문을 소설이나 학술 연구로 위장하거나 외국어와 암호로 바꾸는 형태로 진화했다. 긴 대화 속에 유해한 요청을 여러 단계로 나누거나 이미지와 음성에 공격 지시를 숨기는 방법도 등장했다.</p> <p contents-hash="2c3d5127b7f2729240e6bea507ff4ab8480dec9f94f94c7ea062b2318917b206" dmcf-pid="xnnoVyWIhB" dmcf-ptype="general">앤트로픽 수출통제 사태는 젤브레이킹의 위험을 어디까지 인정할 것인지에 관한 논쟁을 촉발했다. 아마존 연구진의 시험에서 페이블5는 소프트웨어 취약점 여러 건을 찾아냈고, 한 사례에서는 이를 악용하는 방법을 보여주는 시범 코드까지 생성했다.</p> <p contents-hash="d328947f929fb680d84395c594906e182553148325dd345631d7a52d248cbef1" dmcf-pid="y55tIxMVyq" dmcf-ptype="general">미국 정부는 중국과 러시아 등 우려 국가의 군사·정보기관이 이 같은 사이버 능력을 활용할 가능성을 문제 삼았다. 반면 앤트로픽은 제한적인 안전장치 우회이며 이전 세대 AI 모델도 같은 결과를 낼 수 있다고 반박했다.</p> <p contents-hash="de228255562253c6f714abf532344d1668608b5c9f56b32a9f897b83c170455b" dmcf-pid="W11FCMRflz" dmcf-ptype="general">앤트로픽은 문제의 요청을 감지하면 사이버 공격 능력이 상대적으로 낮은 ‘클로드 오푸스4.8’로 넘기는 안전 분류기를 보강했다. 아마존과 구글, 마이크로소프트 등과 젤브레이킹의 심각도를 평가하는 공동 기준도 마련하기로 했다.</p> <p contents-hash="893f550585e1c6abc9e76420de769746bb9fe57369da3bac2dfe92c7e545819f" dmcf-pid="Ytt3hRe4y7" dmcf-ptype="general">핵심은 젤브레이킹이 존재하느냐보다 얼마나 위험한 능력을 끌어냈느냐에 있다. 단순한 답변 제한 우회와 실제 사이버 공격을 돕는 고위험 젤브레이킹을 같은 수준으로 다루기는 어렵기 때문이다.</p> <p contents-hash="a6a5a5b35018c1e8da72f2702404ddd7bbc6b7a02bbb33c331e70228e2247a37" dmcf-pid="GFF0led8lu" dmcf-ptype="general">반면 오픈AI의 허깅페이스 침해는 모델의 답변 제한이 아닌 컴퓨터 시스템의 경계가 무너진 사례다. 외부 이용자가 AI를 속인 것이 아니라 AI가 시스템에 설정된 접근 제한을 직접 우회했다.</p> <p contents-hash="9368d946d13518792c87cb10a77d39be0f6ce8617f721173bf2a48473f247538" dmcf-pid="HHHZm6PKWU" dmcf-ptype="general">사고는 AI 모델의 해킹 능력을 측정하는 ‘익스플로잇짐’ 시험에서 발생했다. GPT-5.6 솔과 내부 연구모델에는 시험 문제를 풀라는 목표가 주어졌다. 일부 안전장치는 시험을 위해 낮춘 상태였지만 외부 인터넷 접속은 제한됐다.</p> <p contents-hash="cebfaffad103380665b2ddaf9c246538274bf446cc3ad5f46833f63ed5aba509" dmcf-pid="XXX5sPQ9lp" dmcf-ptype="general">모델은 문제를 정상적으로 푸는 대신 정답이 저장됐을 가능성이 있는 외부 시스템에 접근하는 방법을 찾았다. 패키지 설치를 중계하던 프로그램에서 알려지지 않은 보안 취약점을 발견한 뒤 인터넷에 연결된 시스템으로 이동했다.</p> <p contents-hash="47d808f17dcc842d311fd4cf529e39dd8476640407aef2481b3df0ca588e850e" dmcf-pid="ZZZ1OQx2h0" dmcf-ptype="general">이어 탈취한 인증정보와 추가 취약점을 이용해 허깅페이스 운영 데이터베이스에서 시험 정답을 확보했다. 오픈AI는 모델이 좁은 시험 목표에 지나치게 집중해 극단적인 수단을 택했다고 설명했다. 사람이 시험 문제를 푸는 대신 출제기관에 침입해 답안지를 훔친 셈이다.</p> <p contents-hash="5e3b92abe94963dea65d4c6601a5480f1f119e2ea31edac71957c4bed3bdee5d" dmcf-pid="555tIxMVS3" dmcf-ptype="general">한 AI 업계 관계자는 “AI에 목표 달성만 반복해서 강조하고 지켜야 할 경계와 우선순위를 충분히 학습시키지 않으면 사람에게는 명백히 부적절한 수단도 목표를 이루기 위한 선택지로 판단할 수 있다”며 “특히 장시간 자율적으로 작동하는 에이전트는 실패할 때 멈추는 대신 다른 경로를 계속 탐색하기 때문에 위험이 커진다”고 말했다.</p> <p contents-hash="f383b6abcce14ebd98834a8229a112dd454e6ee7f2a8dfe5680010589c72cbba" dmcf-pid="111FCMRfhF" dmcf-ptype="general">샌드박스는 신뢰하기 어려운 프로그램에 제한된 파일과 메모리, 네트워크 권한만 주고 실행하는 격리환경이다. 어린이가 모래상자 안에서 무엇을 만들거나 부숴도 주변에 피해가 번지지 않는다는 데서 나온 표현이다.</p> <p contents-hash="275e5553679dfb2063deaac7f71ac3d114f53a9dfc54cdad793153870da61161" dmcf-pid="ttt3hRe4Wt" dmcf-ptype="general">샌드박스 이탈은 그 안에서 작동하던 프로그램이나 코드가 취약점을 이용해 실제 운영체제나 외부 네트워크에 접근하는 현상이다. 젤브레이킹이 직원에게 규정을 어기도록 속이는 일이라면 샌드박스 이탈은 잠긴 사무실 문을 실제로 뚫고 밖으로 나가는 일에 가깝다.</p> <p contents-hash="9d4beb0582a7029dfa894288e7eed0ef4755d4a58fbe71c4d5986f57486f3b63" dmcf-pid="FFF0led8l1" dmcf-ptype="general">AI가 자의식을 갖고 자유를 찾아 탈출한 것은 아니다. 정해진 목표를 달성하는 과정에서 개발자가 예상하거나 허용하지 않은 수단까지 선택한 결과다. 목표 달성만 강조하고 행동 범위를 충분히 통제하지 않으면 AI가 규칙의 빈틈을 찾을 수 있다는 의미다.</p> <p contents-hash="46c0e1a1a1580b040ca34af09d1c3167ce53ad95701e3669aea8f3dfe562ba6f" dmcf-pid="333pSdJ6h5" dmcf-ptype="general">젤브레이킹과 샌드박스 이탈은 별개 현상이지만 AI가 에이전트로 진화하면서 두 위험이 연결될 가능성도 커지고 있다. 과거 챗봇은 위험한 답변을 생성해도 결과가 대화창 안에 머물렀다. 현재 AI 에이전트는 직접 코드를 실행하고 웹사이트와 이메일, 데이터베이스, 업무용 애플리케이션을 조작한다.</p> <p contents-hash="23a63eed0c811561f38e3f83f08f8221554f6b3b13fa3ee317fc2495db95b57e" dmcf-pid="000UvJiPSZ" dmcf-ptype="general">공격자가 젤브레이킹으로 에이전트의 행동 제한을 풀고 실행환경에 취약점까지 존재한다면 금지된 답변이 실제 시스템 침입으로 이어질 수 있다. 반대로 젤브레이킹이 없더라도 장시간 목표를 추적하는 AI가 스스로 실행환경의 취약점을 찾아낼 수 있다는 사실도 이번 사건에서 드러났다.</p> <p contents-hash="9b95e7b98f123c8101ae7c83e5b13f1b21659971ea16b3406543e517f7c1c4a3" dmcf-pid="pVV4FEDglX" dmcf-ptype="general">한 AI 기업 대표는 “미토스 등장 이전부터 보안 AI의 중요성이 충분히 주목받지 못한 점이 안타깝다”며 “AI 에이전트가 실제 시스템에 연결되기 시작하면서 앞으로 보안 문제는 지금보다 훨씬 커질 것”이라고 말했다.</p> </section> </div> <p class="" data-translation="true">Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.</p> 관련자료 이전 오픈AI 자율 AI 에이전트, 추가 격리망 이탈 확인 08-01 다음 선발 18연패 끊어낸 김윤하…“10승 투수 될래요" 08-01 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
