통제 뚫고 무단 해킹한 AI, 어떻게 막을까… 주목받는 ‘AI 정렬’ 작성일 07-28 25 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">오픈AI 모델, 탈옥해 허깅페이스 공격<br>목표 달성 위해 안전장치 우회<br>“보안 역량에 더해 AI 정렬 강화해야”</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="flznQMQ9jp"> <figure class="figure_frm origin_fig" contents-hash="af98f938dec2c4aa279188519c42ea338827a9cdcc215c10880c5361930f81d2" dmcf-pid="4SqLxRx2a0" dmcf-ptype="figure"> <p class="link_figure"><img alt="오픈AI 로고./연합뉴스" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/28/chosunbiz/20260728165649112rfoc.jpg" data-org-width="4000" dmcf-mid="VZfcnonQoU" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/28/chosunbiz/20260728165649112rfoc.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 오픈AI 로고./연합뉴스 </figcaption> </figure> <p contents-hash="3df9499acbda255567e591ce06ad4c1cba80bf07fc14423e1b2fadb8bb309124" dmcf-pid="8vBoMeMVj3" dmcf-ptype="general">최근 오픈AI의 인공지능(AI) 에이전트가 성능 평가 도중 격리 환경을 뚫고 외부 사이트를 해킹한 사건이 발생하면서, 처음부터 AI가 탈옥(jailbreak·AI의 안전장치 우회)을 시도하지 않도록 설정하는 기술인 ‘AI 정렬’이 주목받고 있다. 전문가들은 취약점을 자동으로 찾고 해킹에 대응하는 ‘수비형 AI’만으로는 충분하지 않기 때문에 처음부터 안전에 중점을 두고 모델 설계를 해야 한다고 주장한다.</p> <p contents-hash="b5587e7be4129e3e69d49611ac47d415ba7f4eabc14f1a28bd57892770f4e5a8" dmcf-pid="6TbgRdRfgF" dmcf-ptype="general">28일 관련 업계에 따르면 최근 오픈AI의 최신 모델 ‘GPT-5.6 솔’과 미공개 모델의 자율형 에이전트가 성능 평가 중 통제에서 벗어나 오픈소스(개방형) AI 플랫폼 허깅페이스를 공격한 사건은 AI 기업이 자사 AI 모델에 대한 통제력을 잃은 첫 사례로 꼽힌다. 허깅페이스에 대한 해킹은 큰 피해 없이 끝났지만, 향후 비슷한 공격이 병원, 전력망, 원자력 발전소 등 국가 기반시설에서 발생하면 피해가 막심할 수 있기 때문에 업계에서는 이번 사건을 AI 안전 분야에서 중요한 전환점으로 보고 있다.</p> <p contents-hash="b8bd1e0b5ea67af90dedfb0c7b02fe3ad2d079ae52ca9a4cbf976d6a84babb2b" dmcf-pid="PyKaeJe4ct" dmcf-ptype="general">일각에서는 이번 사건을 전형적인 사이버보안 문제로 평가하고 있다. 오픈AI가 AI 모델의 활동을 제한하는 격리 환경인 ‘샌드박스’를 제대로 관리하지 못했고, 허깅페이스 역시 보안이 허술해 외부 침입을 제대로 막지 못했다는 것이다. 이에 보안업계에서는 취약점을 빠르게 탐지해 보완하고, AI 기반 공격을 보다 잘 방어하는 방어 체계를 갖춰 대응해야 한다고 강조한다.</p> <p contents-hash="467d9896993174d2538ee57de88f7743a5fc9f882ab015b0e0c976e11b0a9fdb" dmcf-pid="QW9Ndid8N1" dmcf-ptype="general">아울러 AI가 특정 상황에서 인간의 의도에 맞게 행동하고 통제에서 벗어나지 않도록 설계하는 ‘AI 정렬’을 강화해야 한다는 목소리가 커지고 있다. AI의 성능이 빠르게 개선되고 있기 때문에 이미 탈옥에 성공한 AI의 공격을 제어하려는 시도는 실패할 가능성이 높다는 이유에서다.</p> <p contents-hash="7d151ad114dad2dd17c15686674fda1621557d6a13da606c055b8cc140973210" dmcf-pid="xY2jJnJ6c5" dmcf-ptype="general">오픈AI에 따르면 이번에 허깅페이스를 공격한 AI 에이전트는 샌드박스에서 탈출해 인터넷에 접속해야 성능 평가를 통과하는 데 필요한 정보를 찾을 수 있을 것이라고 추론했고, 이 과정에서 허깅페이스를 공격 대상으로 선택했다. 오픈AI 모델이 목표를 달성하기 위해 부정행위를 시도한 셈이다. 오픈AI는 “(허깅페이스를 해킹한) AI 모델은 샌드박스의 취약점을 찾아내는 데 1시간을 소요했다”며 “이전 세대 모델들은 이처럼 끈질기게 시도하지 않았다”고 설명했다.</p> <p contents-hash="3859430963e4c6414e795d497f15180b8fbbff60954e89a1e1573626590ac8eb" dmcf-pid="yROpX5XSgZ" dmcf-ptype="general">고성능 모델일수록 목표를 달성하기 위해 최적의 결과를 내놓는 방향으로 학습이 되면서 이번 해킹처럼 무단 행동을 할 위험이 커진 것으로 분석된다. 비영리 AI 안전·보안 연구기관인 레드우드 리서치는 멋대로 해킹에 나선 오픈AI 모델의 행동을 ‘점수 추구형 정렬 실패(score-seeking misalignment)’ 사례로 분류했다. 이는 AI가 지시 내용이나 잠재적인 부작용, 추후 결과와 관계없이 높은 평가 점수를 얻는 것만을 목표로 행동하는 현상을 의미했다.</p> <p contents-hash="884ebdd35c9854ff7709ef2c1deb52795f422f2ed7b8d5a4e784eafeb94530ce" dmcf-pid="WeIUZ1ZvoX" dmcf-ptype="general">이에 업계에서는 전반적인 보안 역량을 강화하는 것도 중요하지만, AI가 위험한 행동을 하지 않도록 통제하는 AI 정렬과 안전 기술을 고도화하는 게 필수적이라는 의견이 나오고 있다. 아직 AI 업계에서는 강력한 AI를 어떻게 정렬할 것인지에 대한 합의는 없어 추가 연구가 필요한 상황이다.</p> <p contents-hash="0d144bdc01e492e091005f59e249b3aaa800f8bb580f84b87b4e271914e76b7b" dmcf-pid="YdCu5t5TjH" dmcf-ptype="general">최근 오픈AI, 앤트로픽, 구글 등이 유수 대학교에서 수학자, 철학자 등을 잇따라 영입하는 이유도 AI 정렬과 안전의 중요성이 커졌기 때문이다. 오픈AI는 이달 ‘수학계의 노벨상’으로 불리는 필즈상 수상자인 제이콥 치머만 토론토대 교수를 최근 영입했는데, 치머만 교수는 수학적 전문성을 살려 오픈AI에서 AI 안전 연구를 진행할 예정이다.</p> <p contents-hash="d84537ffcac9d48f52241aebb9290cc89b2efa26136595d0ec64e94eacd311ed" dmcf-pid="Gilzt3tWkG" dmcf-ptype="general">AI 기업들이 자사 모델에 대한 통제력을 잃고 있다는 우려가 커지면서 실리콘밸리에서는 AI 보안 기술도 개방형으로 공개해야 한다는 주장도 힘을 얻고 있다. 엔비디아는 전날 AI 보안 연합체 ‘오픈 시큐어 AI 얼라이언스’를 출범했다. 이 연합체에는 마이크로소프트(MS), 스페이스X, IBM, 어도비, 네이버, SK텔레콤 등 40여개 기업이 초기 회원사로 합류했다. 참여 기업들은 AI 안전과 사이버 보안을 강화하기 위해 소프트웨어와 AI 에이전트를 보호하는 새로운 보안 기술과 도구를 공동 개발해 공유할 예정이다.</p> <p contents-hash="4778940ed1a50cd06d6b88f8f0af32ae66e0a57b8db27be40986b76b11e7ca67" dmcf-pid="HnSqF0FYoY" dmcf-ptype="general">엔비디아는 “방어 주체가 첨단 AI를 자체 인프라 직접 분석하고 수정하며, 운영할 수 없다면 가장 빠른 대응이 필요한 순간에 방어 역량이 크게 제한될 수밖에 없다”며 “그래서 국가와 기업은 개방형 최첨단 AI 방어 도구와 기술을 확보해 자율형 방어 체계를 구축할 수 있어야 한다”고 강조했다.</p> <p contents-hash="66fbc1e687411fed72958c5ca9c98eb752a6b75217ae8f170ee64602d0aa1af6" dmcf-pid="XLvB3p3GgW" dmcf-ptype="general">반면 다리오 아모데이 앤트로픽 최고경영자(CEO)는 이날 블로그를 통해 “오픈웨이트 모델은 안전장치를 적용하거나 활동을 지속적으로 점검하기 어렵기 때문에 심각한 정렬 문제를 일으킬 수 있다”고 경고했다. 중국산 오픈웨이트(가중치 공개) 모델은 위험한 행동을 제한하는 AI 정렬을 갖추기 어려워 탈옥 문제를 일으킬 가능성이 더 높다는 주장이다.</p> <p contents-hash="4156f5b6e7ba20d4c1d972e74d0e4782ca9db6ae5785c066ffc50287a61e54d0" dmcf-pid="ZoTb0U0Hjy" dmcf-ptype="general">- Copyright ⓒ 조선비즈 & Chosun.com -</p> </section> </div> <p class="" data-translation="true">Copyright © 조선비즈. 무단전재 및 재배포 금지.</p> 관련자료 이전 AI 빚투 불안감에 재조명받은 애플…‘지각생’ 지적받다 15개월만에 세계시총 1위 탈환 07-28 다음 엔비디아 순환거래에 ‘AI 투자 리스크’ 재점화…애플에 시총 1위 뺏겨 07-28 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
