5분만에 뚫렸다 “멍청한 제미나이3”…레드팀 탈옥공격에 속수무책 작성일 11-30 44 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">AI 보안 스타트업 실험 5분 만에 뚫려<br>생화학 무기 만드는 법까지 알려줘<br>“모델에 대한 통제력 상실 가능성”</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="2mu5eU1yhP"> <figure class="figure_frm origin_fig" contents-hash="48d687379f68c6a4b7983978ddc2959945f1c6c0edacdeb6d11cbc953f4da4ef" dmcf-pid="Vs71dutWW6" dmcf-ptype="figure"> <p class="link_figure"><img alt="구글 제미나이 일러스트 [사진 = 로이터연합뉴스]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202511/30/mk/20251130135707540sjcf.jpg" data-org-width="700" dmcf-mid="tvUZRp5TyN" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202511/30/mk/20251130135707540sjcf.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 구글 제미나이 일러스트 [사진 = 로이터연합뉴스] </figcaption> </figure> <div contents-hash="a47e9e221a724ec4190dae64f3ec1526bfa3785c7879783a4b6bfcfa2cdbcc9a" dmcf-pid="fOztJ7FYS8" dmcf-ptype="general"> 구글이 내놓은 첨단 인공지능(AI) 모델 ‘제미나이 3’가 우회 시도 시 생화학 무기 생성 정보를 알려주는 등 안전성 측면에서 취약점을 가진 것으로 드러났다. AI 성능이 인간을 넘어 빠르게 고도화될수록 이러한 악용의 결과물도 정교해지면서 위험이 커지고 있다는 분석이 나온다. </div> <p contents-hash="c183e5df9fb7c461ec1c8ab6f252baa328cb31a597dd3952ed0327b96c117572" dmcf-pid="4IqFiz3Gh4" dmcf-ptype="general">한국 인공지능(AI) 보안 스타트업 에임 인텔리전스가 구글이 이달 공개한 ‘제미나이 3 프로’를 대상으로 탈옥 공격을 시도한 결과, 5분 만에 구글의 안전 장치를 우회하는 데 성공했다. 탈옥은 취약점을 이용해 윤리적 지침을 우회하고, 제한된 조치를 수행하도록 만드는 것을 뜻한다.</p> <p contents-hash="1b78f66c16480fdaa3d9eae3a2afc52817f018283e925148480a46d9e0460633" dmcf-pid="8CB3nq0Hhf" dmcf-ptype="general">이번 실험을 진행한 에임 인텔리전스는 AI 서비스에 최적화된 공격을 진행해 취약점을 찾는 ‘레드팀’에 특화된 기업이다.</p> <p contents-hash="e30f9a35bbaef34284f63b377af45b2110b1e0cb88cc915993c88d39076e853c" dmcf-pid="6hb0LBpXvV" dmcf-ptype="general">실험 결과 에임 인텔리전스는 “거부 장치를 모두 우회해 제미나이가 천연두 바이러스를 생성하는 방법을 제공하도록 했다”라며 제미나이가 생성한 결과물이 매우 상세했고 실행 가능한 수준의 내용이었다고 설명했다. 제미나이는 수십줄에 걸쳐 제작 방법을 상세하게 설명해 준 것으로 나타났다.</p> <p contents-hash="b14b3c5fa22ea842d4cc82a733e65e0b3405e64757b0df640015b9b2e844d61c" dmcf-pid="P3J6IdPKC2" dmcf-ptype="general">이어서 연구팀이 제미나이에 보안 실패 상황을 풍자하는 프레젠테이션을 만들어달라 요청하자, 제미나이는 ‘탈옥당한 바보 제미나이 3’라는 제목의 자료를 생성하는 등 안전 장치가 무색한 수준의 모습을 보였다.</p> <p contents-hash="69f73e7492804be91804ee4b86ece6c795a03eadee5056a3088f6c39a1b05e44" dmcf-pid="Q0iPCJQ9T9" dmcf-ptype="general">연구팀은 또한 제미나이의 코드 생성 기능을 활용해 사린 가스 제조법, 사제 폭발물 제조법 등의 위험 정보를 제공하는 웹사이트 코드를 제작하는 데에도 성공했다.</p> <figure class="figure_frm origin_fig" contents-hash="bc22ac29374388e6d7572ed320f57b69d60a29d1f8f5382459f127d3edb31ca5" dmcf-pid="xpnQhix2WK" dmcf-ptype="figure"> <p class="link_figure"><img alt="에임 인텔리전스가 구글의 최신 AI 모델 ‘제미나이 3’의 안전 장치를 우회한 다음 탈옥 당한 제미나이에 이를 희화화 하는 프레젠테이션을 만들어달라 하자, 제미나이가 제작해 제공한 이미지 모습 [출처 = 에임 인텔리전스 링크드인]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202511/30/mk/20251130135708849zmld.jpg" data-org-width="700" dmcf-mid="FFcnGALxCa" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202511/30/mk/20251130135708849zmld.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 에임 인텔리전스가 구글의 최신 AI 모델 ‘제미나이 3’의 안전 장치를 우회한 다음 탈옥 당한 제미나이에 이를 희화화 하는 프레젠테이션을 만들어달라 하자, 제미나이가 제작해 제공한 이미지 모습 [출처 = 에임 인텔리전스 링크드인] </figcaption> </figure> <div contents-hash="76b37e0687f7b616b6a367d7144eaec606c35ce5e6b24d7cff28e75aff679fee" dmcf-pid="yj5T4ZyOlb" dmcf-ptype="general"> 이러한 사태에 대해 AI 업계에서는 AI 모델의 성능 증가 속도를 방어 체계가 따라가지 못하면서 이같은 문제점들이 여전히 이어지고 있다고 보고 있다. 제미나이 3는 주요 지표에서 오픈AI의 GPT-5를 제친 현존 최강 모델임에도 이같이 수분만에 뚫릴 수 있는 수준의 안전 장치를 갖고 있는 것이다. </div> <p contents-hash="db4391f25a892dc6ccc4e165839939cc05e9f7b913f4471cea053709882c0905" dmcf-pid="WA1y85WIWB" dmcf-ptype="general">AI 기업 앤스로픽은 모델 성능에 따라 안전성 수준을 ASL-1(AI 안전성 레벨-1)부터 ASL-4까지 분류하고 있는데, 현재 모델 발전은 ‘ASL-3’ 단계로 평가되며 이는 확연히 더 큰 위험을 동반하는 단계다.</p> <p contents-hash="b2b1d815ac767e5d7cc30cb3f4bad9f40556d14d832222bce47e9d78c01af308" dmcf-pid="YctW61YCvq" dmcf-ptype="general">에임 인텔리전스 관계자는 “최근 모델들은 단순히 응답만 잘하는 게 아니라, 우회 전략·은닉 프롬프트 활용 등 능동적으로 회피하는 능력까지 갖고 있어서 대응이 더 어려워지고 있다”라며 “모든 모델이 공통적으로 겪는 문제다. 각 모델의 취약 지점을 종합적으로 이해하고 서비스 정책과 맞춰가는 것이 중요할 것”이라고 설명했다.</p> </section> </div> <p class="" data-translation="true">Copyright © 매일경제 & mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지</p> 관련자료 이전 ‘김부장 이야기’, 오늘(30일) OST 온라인 컴필레이션 발매 11-30 다음 연세대, 한양대 꺾고 대학 미식축구 전국선수권 2년 연속 우승 11-30 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
