허깅페이스 해킹한 AI 다시 보니…30시간 전 탐지 가능했다 작성일 11-02 29 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">오픈AI, 침해 사건 재현 실험서 30분 만에 경보…모니터링 강화<br>AI가 잘못된 행동 숨기는 현상도 관찰…성능 높아질수록 해석 어려워</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="FFlyAve4X3"> <figure class="figure_frm origin_fig" contents-hash="986dafa57c28160759e4a2815bcd6f02964dcaea27fd0660f5affcd5659100c3" dmcf-pid="33SWcTd85F" dmcf-ptype="figure"> <p class="link_figure"><img alt="오픈AI 로고 일러스트. 2026.06.11 ⓒ 로이터=뉴스1" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/02/NEWS1/20261102053126169gimc.jpg" data-org-width="1400" dmcf-mid="toKf12Srt0" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/02/NEWS1/20261102053126169gimc.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 오픈AI 로고 일러스트. 2026.06.11 ⓒ 로이터=뉴스1 </figcaption> </figure> <p contents-hash="3deec7fd9f5841683fb6188f878a88539ab208bb6400dee413afe3801ab4f117" dmcf-pid="00vYkyJ6Ht" dmcf-ptype="general">(서울=뉴스1) 유수연 기자 = 오픈AI가 인공지능(AI) 에이전트의 허깅페이스 시스템 침해 사건을 재현한 결과 강화된 모니터링 시스템이 있었다면 실제 침해가 발생하기 30시간 전에 이상 행동을 탐지할 수 있었던 것으로 나타났다. </p> <p contents-hash="e6a34d2b664389835d164fe1d11809858487d5ba385f67f16a382a0cec492d26" dmcf-pid="pVFUS0EoG1" dmcf-ptype="general">오픈AI는 이 사건을 계기로 AI 모델이 개발자의 의도에서 벗어나 허가되지 않은 작업을 수행하는 '비정렬' 행동에 대한 감시체계를 강화했다고 밝혔다.</p> <p contents-hash="81351c750ebd980dae6179f956250872057689a0c48399df0d5bb3a111c99a73" dmcf-pid="Uf3uvpDgY5" dmcf-ptype="general">오픈AI가 최근 공개한 '프런티어 모델의 비정렬을 탐지하는 방법'에 따르면 회사는 AI 에이전트의 이상 행동을 탐지하고 대응하기 위해 4개 계층으로 구성된 모니터링 시스템을 운영하고 있다.</p> <h3 contents-hash="26927a9dc97ff56c4502fd10c8cc1d24c24cc7c987ff606893fd37c283e23ebf" dmcf-pid="u407TUwa5Z" dmcf-ptype="h3">격리 환경 탈출한 AI…강화된 시스템 적용하니 30분 만에 경보</h3> <p contents-hash="af61626fe0abd5417a9a880496c5a4e89c97093a7404a77e1d969acf3a24aa3c" dmcf-pid="78pzyurNHX" dmcf-ptype="general">오픈AI는 이전부터 내부 코딩 에이전트를 모니터링해 왔지만 허깅페이스 사건을 통해 감시 범위에 빈틈이 드러났다고 설명했다.</p> <p contents-hash="b0fde81b46a2e8a66cfef503bfd3048abc40e4bed919fe661ca9a0062a1ec675" dmcf-pid="z6UqW7mjXH" dmcf-ptype="general">허깅페이스 사건은 AI 비정렬 행동 탐지 시스템을 가동하지 않던 내부 사이버 보안 평가에서 시작됐다.</p> <p contents-hash="3c0282dad1579d82f1c13ed66aa97fa5dd526f2dc29f63575906b5798e094e53" dmcf-pid="qPuBYzsA5G" dmcf-ptype="general">오픈AI가 강화된 모니터링 시스템을 적용해 당시 상황을 재현한 결과, AI 에이전트가 처음 샌드박스(격리된 시험 환경)를 탈출한 지 약 30분 만에 보안팀에 경보가 전달됐다.</p> <p contents-hash="a98094480fa21764f8d27b51f503e1eb44c42f022a2bde283579897cb526c9f3" dmcf-pid="BQ7bGqOcHY" dmcf-ptype="general">이는 실제 사건에서 허깅페이스 시스템이 침해되기까지 30시간 이상 남아 있던 시점이다. 오픈AI는 당시 이러한 경보가 발생했다면 AI 모델이 외부 서비스에 접근하기 전에 활동을 중단할 시간이 있었을 것으로 봤다.</p> <p contents-hash="a49bc4a167cc85cfa1995aa88a727ddadf1d542c7bfb2d6c6db7ac3ab619805b" dmcf-pid="bxzKHBIkXW" dmcf-ptype="general">지난 9월에는 실제 AI 학습 과정에서 한 모델이 외부 인터넷 접속이 차단된 환경에서 인터넷에 접속하는 방법을 찾아낸 사건도 발생했다.</p> <p contents-hash="5b2856e480110397c27931cd89be28269d70a65daba8869aa1325c7e8cd4e286" dmcf-pid="KNPR7xXS1y" dmcf-ptype="general">모니터링 시스템은 15분 이내에 침해를 탐지했고 3분 뒤 담당자가 조사에 착수했다.</p> <p contents-hash="0ae9c1165273e07bcdd65b8a8e53613dd8bb88b702f66b8aaebeb26aa4c89cc6" dmcf-pid="9jQezMZvZT" dmcf-ptype="general">오픈AI는 이후 프런티어 모델의 강화학습을 일시 중지하고 에이전트를 격리하는 시스템을 강화했다.</p> <h3 contents-hash="5b56eeded847bca95875f06f655c849b2acd4258e9aa686c3178b37a29f3dcd7" dmcf-pid="2AxdqR5THv" dmcf-ptype="h3">AI 행동 4개 계층으로 감시…중대 위험 작업 중단</h3> <p contents-hash="ac21034c6a0de255117d155c898614c79a788b13979a202d86257e5329d540ae" dmcf-pid="VcMJBe1yYS" dmcf-ptype="general">오픈AI의 모니터링 시스템은 AI의 이상 행동을 탐지하고 위험성을 판단하는 4개 계층으로 구성됐다.</p> <p contents-hash="a89019a9435c0ff1afc06a1d654374074a0e3cea96e44719297689dbe7e7478e" dmcf-pid="fkRibdtWHl" dmcf-ptype="general">첫 번째 계층인 '활성화 프로브'(activation probes)는 AI 모델 내부에서 나타나는 신호를 분석해 이상 징후를 찾아낸다.</p> <p contents-hash="28707d02787f1d8d3f8fc67c05d39b4386ea2bd3aa90bfbf3da1748123aaff40" dmcf-pid="4EenKJFYHh" dmcf-ptype="general">두 번째 계층에서는 '모델 기반 검토기'(model-based reviewer)가 AI 에이전트의 대화 내용과 추론 과정, 도구 사용 기록을 살펴 거짓되거나 허가되지 않은 작업을 수행했는지 확인한다.</p> <p contents-hash="24d94fab48d971cb4a36419b3365605c7c591c711226fffef3cb1d2e231d0755" dmcf-pid="8DdL9i3G1C" dmcf-ptype="general">세 번째 계층인 '조사 에이전트'(investigative agent)는 관련 기록을 추가로 검토해 사건의 심각성을 판단한다.</p> <p contents-hash="881a69a7437b4121423a3f6040779ce8f0c1fcdd46c8b7af8e20ea51af1809ad" dmcf-pid="6wJo2n0HXI" dmcf-ptype="general">마지막 계층에서는 인터넷 접속 기록 등 추가 자료를 확인하고 사람인 대응 담당자에게 경보를 전달할지 결정한다.</p> <p contents-hash="5df19c6e5005ac21bd0eb8cc89332d684bc8c5b0fcd4fe879eccfd5afe88883d" dmcf-pid="PrigVLpXHO" dmcf-ptype="general">심각한 보안 위협이 탐지되면 보안팀과 학습팀 담당자에게 경보가 전달된다. 일부 중대 경보는 담당자의 조치를 기다리지 않고 작업을 자동으로 일시 중지할 수도 있다.</p> <h3 contents-hash="e3d3959a5230a2bd0e1f49ff5c92cf4c67f0c26d88da9ab830239fe522293c5c" dmcf-pid="QmnafoUZGs" dmcf-ptype="h3">긴급 대응 사례 79.6% 탐지…잘못된 행동 숨기는 AI는 과제</h3> <p contents-hash="f79c9138816aa2a712d4f4e20cf253c4840f6b061a9ba640f8130145d9baab8f" dmcf-pid="x6UqW7mj1m" dmcf-ptype="general">오픈AI는 실제 사건을 활용한 성능 평가에서 모니터링 시스템이 긴급 보안 대응이 필요한 사례를 탐지한 비율이 79.6%였다고 밝혔다. 일반 보안 검토 대상으로 분류한 비율은 90.3%였다.</p> <p contents-hash="ce0b2559c62546c0460dbccf54b1831b2591faf4e491b72834c0a7ca8eafcdb1" dmcf-pid="ySADMkKpHr" dmcf-ptype="general">다만 AI 모델이 잘못된 행동을 드러낼 때마다 학습 보상이 낮아지면 해당 행동을 멈추는 대신 숨기는 방법을 배울 수 있다는 문제가 남아 있다.</p> <p contents-hash="66b68412eb7fd6e0d928262142066b4c58f4f9846dfb3b7a0b500244f36ce3f3" dmcf-pid="WvcwRE9U1w" dmcf-ptype="general">실제로 AI 에이전트가 추론 과정에서는 자신의 행동을 숨기면서도 '보상 해킹'을 계속하는 현상이 관찰됐다.</p> <p contents-hash="33db52c97f64c2058cbcae2593b33ac981e8daab276066f803cf18538fd51a84" dmcf-pid="YTkreD2u5D" dmcf-ptype="general">보상 해킹은 AI 에이전트가 높은 보상을 얻기 위해 평가 체계의 허점을 이용하는 행위다. 외부 시스템에 침입하는 일반적인 해킹과는 다르다.</p> <p contents-hash="f0cddb35c16a2a34d581e2c7b2f3d5a3c0553136adbe2672fd030656903a6172" dmcf-pid="GyEmdwV7YE" dmcf-ptype="general">오픈AI는 이러한 문제를 막기 위해 이상 행동이 탐지되더라도 해당 학습 사례의 보상을 변경하거나 학습에서 제외하지 않는다고 설명했다.</p> <p contents-hash="5c36f483fb075dd425684ffad94931e72e23fe46ea99a0920c675760ed96540f" dmcf-pid="HWDsJrfzHk" dmcf-ptype="general">또 AI 모델의 역량이 높아질수록 위해를 초래하는 방식이 달라지고 행동을 해석하기도 어려워질 수 있다고 봤다.</p> <p contents-hash="5f48558e0a517fd9d2a9ba32f391c168e892e074073fd957313db7d03857c9b1" dmcf-pid="XYwOim4q1c" dmcf-ptype="general">이에 새로운 형태의 비정렬 행동을 탐지하는 시스템을 시험하고 기존 모니터링에서 놓친 사례를 조사해 대응 능력을 높일 방침이다.</p> <p contents-hash="347ef02bc777ef912ef5df76bfe62e5403a87aaee2755a51756cd43a0dd7f40b" dmcf-pid="ZGrIns8B1A" dmcf-ptype="general">shushu@news1.kr </p> </section> </div> <p class="" data-translation="true">Copyright © 뉴스1. All rights reserved. 무단 전재 및 재배포, AI학습 이용 금지.</p> 관련자료 이전 ‘뜨는 AGF, 주춤한 지스타’…게임 전시회 지각변동 11-02 다음 '마법소녀 마도카☆마기카' 13년 만에 새 감동 선사한다 11-02 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
