‘무단 행동’ AI 에이전트… 권한 커지는데 검증 체계는 뒤처져 [보안 아웃룩] 작성일 08-07 30 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">오픈AI·앤트로픽 모델도 시험서 무단 행동 <br>기업 66% 사람 검토 없는 운용·계획…자동 평가 완전 신뢰 5%</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="5dW94lSrJT"> <p contents-hash="59fca421b4b328a31eaab381baa8183b8be811e1c1ed83255de485b5a210ac55" dmcf-pid="1JY28Svmnv" dmcf-ptype="general">기업이 인공지능(AI) 에이전트에 사내 데이터 접근과 업무 도구 실행 권한 등을 부여하는 사례가 늘고 있지만, 그 행동과 결과를 검증하는 체계는 이를 따라가지 못한다는 우려가 나온다. 내부 평가를 통과한 에이전트가 실제 서비스에서 문제를 일으키고, 최첨단 AI 모델을 활용한 에이전트가 시험 중 허용 범위를 벗어나 멋대로 행동하는 사례가 등장하며 불안감을 높이고 있다.</p> <div contents-hash="940d0b5af795c7b0fa1cd65cab67bc71ed1c06daea35b4612ab2bd3c7898ece1" dmcf-pid="tiGV6vTseS" dmcf-ptype="general"> AI 에이전트는 파일을 읽고, 코드를 실행하거나, 외부 서비스를 호출하는 여러 작업을 이어서 처리한다. 이에 보안 전문가들은 AI 답변의 정확도뿐 아니라 AI 에이전트가 어떤 데이터와 도구에 접근했는지, 무슨 명령을 실행했는지까지 확인해야 한다고 강조한다. </div> <figure class="figure_frm origin_fig" contents-hash="62f2b199fea122f35373042cc161aac9c9a67da5d1fee04a5e241542abbdfadd" data-idxno="449522" data-type="photo" dmcf-pid="FnHfPTyOMl" dmcf-ptype="figure"> <p class="link_figure"><img alt="AI 에이전트의 검증과 통제를 표현한 이미지 / 챗GPT 생성" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/07/552810-SDi8XcZ/20260807060023995gonb.png" data-org-width="1280" dmcf-mid="ZWPwOVfzey" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/07/552810-SDi8XcZ/20260807060023995gonb.png" width="658"></p> <figcaption class="txt_caption default_figure"> AI 에이전트의 검증과 통제를 표현한 이미지 / 챗GPT 생성 </figcaption> </figure> <p contents-hash="32a724007e0ce27977a1a3eaf17f631f9b1926226abab497b0eeaf8671fa88ef" dmcf-pid="3LX4QyWIMh" dmcf-ptype="general"><strong>AI가 문제 일으키고 자동 통제 방법 못 믿어도…일단 맡긴다?</strong></p> <p contents-hash="9a68500ca56c91f551a14cd414b75a6e787e26c63e52c1f8ae46e12abdef67e2" dmcf-pid="0oZ8xWYCMC" dmcf-ptype="general">미국 실리콘밸리 미디어인 벤처비트가 지난 7월 공개한 조사 결과는 기업의 AI 에이전트 운용과 검증 사이의 격차를 보여준다. 벤처비트가 펄스 리서치와 함께 지난 6월 직원 100명 이상 기업 157곳의 기술 책임자를 조사한 결과, 응답자의 66%가 자동 평가를 통과한 코드나 시스템 변경사항을 사람의 최종 확인 없이 AI 에이전트가 실제 서비스에 반영하도록 이미 허용하고 있거나, 이를 위한 체계를 1년 안에 구축할 예정이라고 답했다.</p> <p contents-hash="86a1b35a0e5677fccf7d9427b0bf31154517a4bd99b9ea66a2c13f65d1c2edee" dmcf-pid="pg56MYGhdI" dmcf-ptype="general">기업은 AI 에이전트를 실제 서비스에 적용하기 전에 답변의 정확성과 안전성 등을 자체적으로 시험한다. 그러나 조사 대상의 절반은 이런 사전 평가를 통과한 AI 에이전트나 거대언어모델(LLM) 기능이 실제 고객 서비스에서 문제를 일으킨 경험이 있다고 답했다. 심지어 AI의 답변과 행동을 프로그램으로 자동 평가하는 방식에 대해 '완전히 신뢰한다'고 답한 비율은 5%에 불과했다. 그럼에도 AI 에이전트를 믿고 시스템을 맡기려는 게 최근의 큰 흐름이다.</p> <p contents-hash="e006dc097df0ad93ac3829678e78a6036359a2e3628ec007e71baf616352ec43" dmcf-pid="Ua1PRGHldO" dmcf-ptype="general">최첨단 AI 모델을 시험하는 과정에서의 검증과 통제 문제는 계속해서 논란을 낳고 있다. 오픈AI는 지난달 'GPT-5.6 솔(Sol)'과 내부 연구용 모델이 보안 성능 평가 중 오픈AI 연구 환경과 허깅페이스 운영 환경의 여러 취약점을 연계해 운영 데이터베이스에서 시험 답안을 확보했다고 밝혔다.</p> <p contents-hash="732938404aa95f4e2ddbd46d9cb2e7c50722e251dd8308aefb63aac571193498" dmcf-pid="uNtQeHXSMs" dmcf-ptype="general">영국 AI보안연구소(AISI)도 4일(현지시각) 오픈AI와 앤트로픽 모델을 활용한 에이전트가 보안 시험 중 허용되지 않은 행동을 했다고 공개했다. AISI가 보안 과제를 122차례 실행한 결과, 10차례 시험에서 19건의 무단 행동이 확인됐다. 이 가운데 17건은 앤트로픽 '미토스 5(Mythos 5)', 2건은 GPT-5.6 솔에서 나왔다.</p> <p contents-hash="83241aed184dd9f69d715d6140cc59de2fa3cd4dcdd9904d9a7b37594c808b6f" dmcf-pid="7jFxdXZvJm" dmcf-ptype="general">실제 오픈소스 프로젝트에 악성 코드를 넣으려 한 에이전트도 있었다. 해당 에이전트는 가짜 온라인 신원을 만들어 관리자가 해당 코드를 승인하도록 압박하기도 했다. 다행히 관리자가 이를 거부해 실제 피해는 발생하지 않았다. 다만 AISI는 인터넷 접속과 일부 안전장치를 의도적으로 해제한 특수한 시험이었다고 설명하며, 최악의 결과를 막은 것은 기술적 차단 장치보다 사람의 '주의' 덕분이었다고 강조했다.</p> <p contents-hash="5011f4568d980e67732e501e0fbfa94f9e622dae1df1290c4fc4148bd7931383" dmcf-pid="zdW94lSrir" dmcf-ptype="general"><strong>태국 재무부 겨냥 공격서 AI 에이전트 흔적</strong></p> <p contents-hash="c55d6bd1d7bd55f8134f8e9177e3f553f5ef2059864d3d9e7f1b63d0945fdd37" dmcf-pid="qJY28SvmJw" dmcf-ptype="general">해외에서는 사이버 공격자가 범용 AI 에이전트에 직접 실행 권한을 주며 악용한 실제 사례가 이미 등장했다. 위협정보업체 헌트아이오(Hunt.io)는 7월 홍콩의 한 서버에서 태국 재무부 내부 시스템을 겨냥한 공격 코드와 탈취 인증정보, AI 에이전트 작업 기록을 발견했다고 밝혔다.</p> <p contents-hash="0449e29b858f4b21f0e65ec4c48e256ef07e68643dfdaf84440c00b57d4a9cf9" dmcf-pid="BiGV6vTsLD" dmcf-ptype="general">헌트아이오에 따르면 공격자는 공개 범용 AI 에이전트 플랫폼 '헤르메스(Hermes)'의 승인 절차를 끄는 '욜로(YOLO) 모드'를 사용한 것으로 보인다. 헤르메스는 침투한 시스템의 정보를 수집하고 취약점과 권한 상승 방법을 찾았고, 내부 서비스와 파일까지 확인한 것으로 알려졌다. 다만 아직 최초 침투 경로는 확인되지 않았다. 이번 사례는 헤르메스 기반 AI 에이전트가 공격 대상을 직접 정한 것은 아니었으며, 공격자가 목표와 도구를 제시한 뒤 침투 이후의 반복 작업을 맡긴 형태인 것으로 알려졌다.</p> <p contents-hash="30780495214631efffe35bd0903b7c696ad74f6e2d72c5ace983c8323354a838" dmcf-pid="bnHfPTyOiE" dmcf-ptype="general">AISI 사례는 에이전트가 시험자의 의도와 다른 경로를 택한 사고였고, 헤르메스 사례는 공격자가 에이전트를 고의로 활용한 사례다. 두 사건의 성격은 다르지만, 에이전트가 연결된 도구와 권한을 이용해 사람의 '지속적인 개입' 없이 여러 작업을 수행했다는 점은 공통적인 것으로 분석된다.</p> <p contents-hash="c9361bcce63b9e525fe6fc41dd1f44c0eae5460ddb233002f0612ab4ba142860" dmcf-pid="KLX4QyWIRk" dmcf-ptype="general"><strong>승인 버튼보다 권한·실행 경로 통제해야</strong></p> <p contents-hash="02bb0e95240b29e24792e223310dcc1fe898c42dc8cd320f844f8ea649372c56" dmcf-pid="9oZ8xWYCRc" dmcf-ptype="general">AI 에이전트가 이 같은 사고를 일으키지 않도록 적절히 통제하려면 어떻게 해야 할까. 보안 전문가들은 모든 작업에 사람의 승인을 요구할 필요는 없지만, 최소한 위협 여부처럼 중요한 판단은 사람이 맡아야 한다고 강조한다.</p> <p contents-hash="f8ed0fe2566573008e9f63c0d0d6773f8e10044b700d3a77aa567d70c8b9d007" dmcf-pid="2g56MYGhLA" dmcf-ptype="general">실제 보안 현장에서는 반복 분석을 AI에 맡기면서도 위협 여부를 확정하는 판단은 사람에게 남겨두고 있다. 세르게이 로즈킨(Sergey Lozhkin) 카스퍼스키 글로벌 연구·분석팀(GReAT) 아시아태평양(APAC)·중동·튀르키예·아프리카(META) 총괄은 이달 3일 IT조선과의 인터뷰에서 "자체 학습한 AI 에이전트 100여개와 10개가 넘는 AI 모델을 운용한다"고 밝혔다.</p> <p contents-hash="28d170c77c84e561a2f55e428b4c603350c412990cac693224f68c37a23ae81e" dmcf-pid="Va1PRGHlMj" dmcf-ptype="general">카스퍼스키 GReAT가 사용하는 AI는 새 악성코드와 기존 위협의 유사성을 분석한다. 하지만 새로운 공격인지, 추가 분석할 가치가 있는 고도화된 위협인지는 사람 연구원이 최종 판단한다. 반복 작업은 자동화하되 위협을 확정하는 책임까지 AI에 넘기지는 않는 것이다.</p> <p contents-hash="befd4473dc17f9c2a6582e923949547ca5438048e2edf61d667efe73e745ca1e" dmcf-pid="fNtQeHXSJN" dmcf-ptype="general">다만 많은 사용자들이 매번 확인을 거쳐 승인을 받도록 하는 방식을 피곤해하는 게 사실이다. 앤트로픽은 자사 AI 코딩 도구 '클로드 코드(Claude Code)' 이용자가 권한 요청의 93%를 승인했다고 밝혔다. 결국 반복되는 요청으로 '승인 피로'가 발생해 내용을 자세히 확인하지 않고 허용하게 된다는 것이다.</p> <p contents-hash="da8ab5596aaf5e3c5fd7fb434d46d1b2326ee745f0e368038ee89fa40ed7102d" dmcf-pid="4jFxdXZvna" dmcf-ptype="general">이에 대해 류소준 카스퍼스키 GReAT APAC 책임연구원은 이달 3일 중국 광저우에서 열린 '아시아태평양 사이버보안 위켄드 2026'에서 "외부 콘텐츠와 내부 개발 자산 사이에 '신뢰 개발 영역'을 설정해야 한다"고 제언했다. 개발 업무에 쓰이는 AI 에이전트부터 통합개발환경(IDE)과 확장 프로그램, 작업 공간별로 권한을 정하고 소프트웨어가 개발 환경에 들어오는 경로를 관리해야 한다는 설명이다. AI가 불러온 코드와 도구, 실행한 명령을 확인할 수 있는 기록도 남겨야 한다.</p> <p contents-hash="0e477018e2efadc0b7232a4e2007e19fc3899eb041fef40ec76ad28e8a42f8ef" dmcf-pid="8A3MJZ5TJg" dmcf-ptype="general">류 책임연구원은 "목표는 승인 알림을 더 많이 추가하는 것이 아니라 안전한 경로를 가장 쉽고 효율적인 경로로 만드는 것"이라고 말했다.</p> <p contents-hash="5bfc1837c59de348f8fa6791037a58d0ce4d84fd04bf2faf3cbee41d5db1894e" dmcf-pid="6c0Ri51yRo" dmcf-ptype="general">정종길 기자<br>jk2@chosunbiz.com</p> </section> </div> <p class="" data-translation="true">Copyright © IT조선. 무단전재 및 재배포 금지.</p> 관련자료 이전 글로벌 AI 기업 몰리는 韓… 아태 공략 전초기지로 08-07 다음 SK하이닉스, 솔리다임 키우기 나선 이유는…“이번 사이클이 최적의 기회” 08-07 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
