거듭된 AI의 통제 회피…안전·관리 준비됐나 작성일 08-09 26 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">오픈AI, 사이버보안 위험성에 ‘아스트라’ 개발 제동<br>美 3사 이어 中 ‘키미3’도 평가도중 격리환경 이탈<br>美, 첨단AI 사전 검증…“韓도 테스트 역량 높여야”</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="tvdoHVfzvD"> <figure class="figure_frm origin_fig" contents-hash="1c0d86464809a58eff35459b2d7a23d88628d67e5aac9cb0d3534a412f7ad536" dmcf-pid="FzOS2NjJlE" dmcf-ptype="figure"> <p class="link_figure"><img alt="챗GPT로 그린 일러스트." class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/09/dt/20260809171844414emcr.png" data-org-width="640" dmcf-mid="1xfQCUu5Sw" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/09/dt/20260809171844414emcr.png" width="658"></p> <figcaption class="txt_caption default_figure"> 챗GPT로 그린 일러스트. </figcaption> </figure> <p contents-hash="969ef5643379903f5bb86c489e56c9030ef07748445391c5ede8116bc1b4aea8" dmcf-pid="3qIvVjAihk" dmcf-ptype="general"><br> 인공지능(AI)발 사이버위협이 ‘사람의 AI 악용’을 넘어 ‘AI의 통제 이탈’로 확대되고 있다. 불과 20여일 사이 미국 AI기업 3곳, 중국 AI기업 1곳의 모델이 평가 과정에서 의도된 통제 범위를 벗어나 인터넷에 접속하거나 실제 외부 시스템을 침해한 사례가 잇따라 공개됐다.</p> <p contents-hash="510a1805c7e491acc6c908095b6a3e3904321e41b00570b09bec1a9ca74e7fdf" dmcf-pid="0BCTfAcnvc" dmcf-ptype="general">올 상반기 ‘미토스 쇼크’ 이래로 프런티어 AI의 사이버보안 역량이 계속 화두로 자리한 가운데, 이들에 대한 안전과 관리 체계를 확보하기 위한 노력을 한국도 더욱 기울여야 한다는 목소리가 나온다.</p> <p contents-hash="45d3a73315703805281ff78c110347ad473052430f1b13e2ac8ffba69b0aaf88" dmcf-pid="pbhy4ckLhA" dmcf-ptype="general">오픈AI는 지난 7일(현지시간) 자사 블로그를 통해 차세대 모델 ‘아스트라’의 일부 내부 활동을 중단한다고 발표했다. 아직 공개하지 않은 이 모델의 에이전틱 코딩 및 사이버보안 능력이 자체 ‘준비 프레임워크’상 기존 ‘GPT-5.6 솔’(High)보다 한 단계 높은 최고 단계인 ‘치명적’(Critical) 역량일 가능성을 배제할 수 없다고 판단해서다.</p> <p contents-hash="b7d3c69286e956d5f58330a8f18aa441d7c198bdaa38b564ecb45469ad3d1aca" dmcf-pid="UKlW8kEoCj" dmcf-ptype="general">오픈AI에 따르면 이는 사람의 개입 없이 다수의 고보안 실제 핵심 시스템에서 제로데이 취약점을 찾아 작동 가능한 공격 코드를 개발하거나, 상위 목표만 받고도 공격을 처음부터 끝까지 설계·실행할 수 있는 수준이다. 앞서 상반기 회사의 라이벌이자 ‘미토스 쇼크’의 주역인 앤트로픽이 ‘미토스 프리뷰’의 일반 공개를 보류하고 접근을 제한했던 게 연상되는 대목이다. 오픈AI는 백악관에도 아스트라 출시 지연 방침을 자발적으로 알렸다고 악시오스가 보도했다.</p> <p contents-hash="738037c8d4f68c91ded6d75c342cf324cbebf2260e9d05bf536c627c383ff991" dmcf-pid="u9SY6EDgyN" dmcf-ptype="general">그 배경엔 거듭된 통제 이탈 사고가 있다. 지난달 오픈AI의 아스트라가 아닌 미공개 모델과 GPT-5.6 솔은 내부평가 도중 제로데이 취약점을 스스로 찾아 샌드박스(격리환경)를 뚫고 평가 정답을 빼내려 허깅페이스를 공격했다. 또 앤트로픽은 지난달 30일 평가기록 14만1006건을 조사해 클로드 3종이 평가환경 설정 오류로 실제 기업 3곳에 무단 접근한 것을 확인했고, 이달 5일 메타도 마찬가지로 ‘뮤즈 스파크 1.1’이 외부 서비스 취약점을 공격했다고 인정했다.</p> <p contents-hash="1b1b000dfef70ff09e6c3672977931a8ada8f8c2ddd303a76e26aff43cff0fcb" dmcf-pid="72vGPDwaya" dmcf-ptype="general">미국산 프런티어 AI 모델만이 이런 우려를 자아내는 게 아니다. 지난달 공개돼 주목받은 중국 문샷AI의 ‘키미 K3’도 사이버보안 평가 도중 샌드박스를 우회했다고 로이터통신이 7일 전했다. 영국 AI보안연구소(AISI)가 개발한 테스트 환경을 활용해 미국 보안 스타트업 프론티어시큐리티가 실험한 결과다. 모델 가중치가 공개된 오픈웨이트 모델이라 광범위하게 배포·활용될 수 있다는 점도 우려를 산다.</p> <p contents-hash="41b11c6b0eec04dcdd2e1aa36975409b40827ed114b9060138f46febac55ea41" dmcf-pid="zVTHQwrNWg" dmcf-ptype="general">다만 이들의 공통분모는 격리망 이탈이라기보다는 권한 경계가 무너졌다는 데 있다. 목표 달성 능력이 높아진 AI가 인터넷, 실행 도구, 계정 권한을 쥐자 개발자가 상정하지 않은 경로까지 탐색하게 됐다. 검증 인프라의 허점도 드러났다. 앤트로픽과 메타 사고는 같은 외부 평가업체의 설정 오류에서 비롯됐다. 탐지도 늦었다. 허깅페이스 침해를 먼저 알아챈 건 피해 기업이었고, 앤트로픽 사례에선 피해 3곳 중 2곳이 침입을 스스로 인지하지 못했다.</p> <p contents-hash="5e8b011135566d266febbe70dca9688967bf5323b4a1ad473f53194ac03b4a41" dmcf-pid="qfyXxrmjCo" dmcf-ptype="general">때문에 AI업계 자율규제에 대한 신뢰도 흔들린다. 미 하원에는 국토안보부가 심각한 위험을 초래할 AI 모델에 감속·중단 등을 명령할 수 있도록 하는 ‘AI 킬 스위치법’이 초당적으로 발의된 상태다. 제프리 래디시 팰리세이드리서치 이사는 오픈AI의 아스트라 대응 관련해 월스트리트저널(WSJ)에 “명백히 늦었다”며 “AI기업의 자율규제 능력에 대한 신뢰를 상당부분 거둬들여야 할 시점”이라고 꼬집었다.</p> <p contents-hash="b85b02c33dfd499540cfc5e86a3502a3a0a26f690aa86038345edcf0809bb6bc" dmcf-pid="BBCTfAcnvL" dmcf-ptype="general">이런 분위기를 반영하듯 미 백악관은 지난 6월 행정명령에 따른 프런티어 AI 보안검증 체계를 이달 초 확정하고 지난 4일 오픈AI·구글·앤트로픽·메타와 적용 방안을 논의했다. 첨단 사이버 역량이 일정 기준을 넘은 AI를 ‘커버드 프런티어 모델’로 지정하고, 개발사가 자율적으로 출시 전 최대 30일간 미 정부에 접근권을 제공하는 형태다.</p> <p contents-hash="55de6978b82c5a0af9f347ae09c3ee4a81bef9198926ff75b07afd984fc1def2" dmcf-pid="bbhy4ckLTn" dmcf-ptype="general">국내에도 AI 안전성 평가 관련 역량과 관리 체계를 강화할 필요성이 제기된다. 이를 이끌어가야 할 곳은 한국전자통신연구원(ETRI) 산하 AI안전연구소다. 과학기술정보통신부가 지난 5월 배포한 자료에 따르면 AI안전연은 2024년 11월 설립 이후 국내외 AI모델 총 42종(지난해 29종, 올해 13종)에 대해 안전성 평가를 수행하고 6만여개 평가 데이터셋 및 시나리오를 확보 중이다.</p> <p contents-hash="53ddb581b5f407488abe752a42c3354eb879650f37a673e08b14a54d7b8656ea" dmcf-pid="KKlW8kEovi" dmcf-ptype="general">다만 외부에 공개된 구체적 평가 결과는 아직 제한적이다. 한국·싱가포르 AI안전연구소는 글로벌 모델 3종을 대상으로 AI에이전트의 데이터 유출 위험 공동평가 결과를 공개했지만 모델명은 익명화했다. 이번 사태처럼 프런티어 모델의 사이버 자율행동이나 격리·권한 이탈을 다룬 구체적인 공개 평가 역량도 더욱 축적할 필요가 있다.</p> <p contents-hash="604e3ed014bd02afb732a66f6b47ff474e6cfda9883cb6842fdc99f4c9d1562d" dmcf-pid="99SY6EDgyJ" dmcf-ptype="general">AI에이전트 등의 통제 이탈 시 법제도 관련 보완도 향후 과제가 될 수 있다. 현행 AI기본법은 학습에 쓰인 누적 연산량이 10의 26제곱 부동소수점연산(FLOPs) 이상인 모델에 위험 식별·완화와 안전사고 대응 체계 등을 요구하지만, 이번 사례들 같은 통제 이탈 사고에 대한 즉시 신고 의무는 별도로 명시돼 있지 않다.</p> <p contents-hash="bc8de46ad4b592d1bb6362c24a87cf139c37105dc7e86929a1fa7cc0dc7e0033" dmcf-pid="22vGPDwaTd" dmcf-ptype="general">최경진 한국인공지능법학회장(가천대 법학과 교수)은 “우린 프런티어 모델 개발사들과 입장이 다르니 순진하게 같이 멈춰선 안 되고 바쁘게 쫓아가야한다”면서도 “이와 별개로 어떤 모델이든 그 위험성을 평가하기 위한 역량을 당장 강화해야 한다. 우리가 그 경험이 현재로선 매우 부족하다”고 짚었다.</p> <p contents-hash="e478f7dad88bdd4d464faf6d9cbe8da15d5b9892f5618b81f064329a8e684183" dmcf-pid="VVTHQwrNye" dmcf-ptype="general">아울러 그는 자율AI 책임 문제에 관해 “자율이란 말이 붙으니 마치 사람 책임이 없는 것처럼 포장하는 이들도 있지만, AI를 만들고 쓰는 것 자체가 이미 책임을 인수한 것”이라며 “모델 자체를 손댈 수 없는 상황이어도 운용 과정에서 통제 장치를 만들 수 있다. 이상 징후가 발생하면 즉각 대응하는 체계를 갖추는 것은 사이버보안에서 해오던 것과 크게 다르지 않다”고 설명했다.</p> <p contents-hash="e36f399de7de4c1fb1603affe5a979ed2882596fe78adfd1c704de05fffd30f2" dmcf-pid="ffyXxrmjWR" dmcf-ptype="general">팽동현 기자 dhp@dt.co.kr</p> </section> </div> <p class="" data-translation="true">Copyright © 디지털타임스. 무단전재 및 재배포 금지.</p> 관련자료 이전 'GPU의 아버지' 한국 극찬 …"삼전닉스 리더십, AI혁명 주도" 08-09 다음 [GS칼텍스배 프로기전] 끝나지 않았다 08-09 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
