이승민 어라이즈 총괄 “AI 에이전트, 행동까지 추적해야” [월간AX 10월호] 작성일 11-03 23 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">AI 실행 기록 수집·평가 체계 소개 <br>비인가 정보 접근 차단 시연</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="2R8fjKhDd6"> <p contents-hash="3104544037104a54b62795a3ffd13c7393b9b81466625b635ac8c510139bfd3c" dmcf-pid="Ve64A9lwe8" dmcf-ptype="general">"AI 에이전트에게 특정 파일을 보지 말라고 지시하는 것만으로는 충분하지 않습니다. 실제로 접근할 수 없도록 권한을 제한하고, 어떤 정보를 조회하고 어떤 행동을 했는지 기록해야 합니다. 그래야 문제가 발생했을 때 원인을 파악하고 대응할 수 있습니다."</p> <div contents-hash="db146bec64267b3bf6af3a4d35855e4318b8eddc0e76cc126c02d55a3e70bcbd" dmcf-pid="fp5XVWiPR4" dmcf-ptype="general"> 이승민 어라이즈(Arize) 아시아태평양·일본(APJ) 솔루션 총괄은 3일 서울 서대문구 한빛앤 본사에서 열린 '월간AX 10월 세미나'에서 AI 에이전트의 행동을 기록하고 검증하는 거버넌스 체계의 중요성을 강조했다. </div> <figure class="figure_frm origin_fig" contents-hash="08909772fd019e0b3fff538917c7f95d5ea7e0383d4a5158259861c07a05d85f" data-idxno="500140" data-type="photo" dmcf-pid="4U1ZfYnQLf" dmcf-ptype="figure"> <p class="link_figure"><img alt="이승민 어라이즈(Arize) 아시아태평양·일본(APJ) 솔루션 총괄 / 정종길 기자" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/03/552810-SDi8XcZ/20261103181622193jhwx.jpg" data-org-width="1280" dmcf-mid="9XcjWoUZnP" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/03/552810-SDi8XcZ/20261103181622193jhwx.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 이승민 어라이즈(Arize) 아시아태평양·일본(APJ) 솔루션 총괄 / 정종길 기자 </figcaption> </figure> <p contents-hash="8e05c087fd6ed24440736dcf12a450ae0da74a8617adef3c382a971988a10473" dmcf-pid="8ut54GLxRV" dmcf-ptype="general">미국 AI 관측·평가 플랫폼 기업 어라이즈는 이날 'AI 에이전트가 해킹하는 시대, 방어는 AI 거버넌스 구축부터'를 주제로 AI 에이전트 보안 대응 방안을 소개했다. '월간AX'는 IT조선이 AI 시대 실무 러닝 허브 한빛앤과 공동 주최하는 AI 시대 네트워킹 프로그램이다.</p> <p contents-hash="7e9aa4e137dc2382bbc5bbc306e7b65eded9a4aadb26645197afc1c946d6a4be" dmcf-pid="67F18HoMJ2" dmcf-ptype="general"><strong>AI에 금지 지시만으론 부족…실행 권한 통제해야</strong></p> <p contents-hash="da6eb01f36521f9f59fe0ed3d7d94443638e9d02da967fd3ba7cf722b6670718" dmcf-pid="Pz3t6XgRM9" dmcf-ptype="general">이 총괄은 AI 에이전트가 사이버 공격에 악용되면서 기존 보안 체계에도 변화가 필요하다고 설명했다. AI 에이전트는 단순히 질문에 답하는 수준을 넘어 여러 도구를 활용해 스스로 계획을 세우고 작업을 수행한다. 공격자가 이를 활용하면 사람이 예상하지 못한 취약점을 찾아내거나 지속적으로 공격을 시도할 수 있다.</p> <p contents-hash="296fcbf9550649c94c15026d0006ec73cf5020cd16c78c44b76dc860c11c97bd" dmcf-pid="Qq0FPZaeRK" dmcf-ptype="general">특히 AI는 같은 입력에도 서로 다른 결과를 내놓을 수 있기 때문에 프롬프트에 금지사항을 적어두는 것만으로 안전을 보장하기 어렵다. 이에 따라 에이전트가 접근할 수 있는 파일과 시스템을 사전에 제한하는 접근권한 통제와 실행 환경을 격리하는 샌드박스 등이 필요하다.</p> <p contents-hash="180200e714529ed0eca4d7cb7955558cbfaa7883c2e44d2a4aa7ef3be70beb47" dmcf-pid="xBp3Q5Ndeb" dmcf-ptype="general">이승민 총괄은 "AI에 무엇을 하지 말라고 지시하는 것보다 애초에 할 수 없도록 환경을 구성하는 것이 중요하다"며 "문제가 일어날 수 있는 환경을 만들어 놓으면 언젠가는 문제가 발생할 수 있다"고 설명했다.</p> <p contents-hash="5c320b065671a91f6b76b12df31b4a9879a2a1367498a03903551494e0b92db8" dmcf-pid="ywjaTn0HRB" dmcf-ptype="general">권한 통제와 함께 강조한 것은 AI 에이전트의 행동 기록이다. 에이전트가 어떤 정보를 조회하고 어떤 도구를 실행했는지 파악해야 이상 행동을 찾아내고 사고 발생 시 원인을 추적할 수 있기 때문이다. 이 총괄은 "거버넌스는 누가, 언제, 무엇을, 어떻게, 왜 했는지 설명할 수 있는 체계"라며 "AI 에이전트가 어디서 어떤 일을 하고 있는지 파악하려면 실행 과정에 대한 기록이 남아 있어야 한다"고 말했다.</p> <p contents-hash="8354ba32b7bbbfb27b89908a8c81a98147c528f4dc2db5367e9a76664a061de8" dmcf-pid="WrANyLpXiq" dmcf-ptype="general"><strong>AI 행동 기록하고 위험 평가…자동 대응까지 연계</strong></p> <p contents-hash="58bf1382d67c75a5c9aa8ffb4c327a89867c08c131478cd644a822c69f4e834c" dmcf-pid="YmcjWoUZMz" dmcf-ptype="general">어라이즈는 이를 구현하기 위한 방안으로 ▲수집(Tracing) ▲평가(Online Evals) ▲전파(Monitors) ▲조치(Webhooks)의 4단계 체계를 제시했다. AI 에이전트의 입력과 출력, 도구 호출 등 실행 과정을 기록하고 위험 여부를 평가한 뒤, 이상 징후가 발견되면 담당자에게 알리거나 외부 시스템에 전달하는 방식이다. 여기에 웹훅을 연계하면 사용자 세션 차단 등 후속 조치도 자동화할 수 있다.</p> <p contents-hash="ac51e546374bc58c525776dd8f0309233906b263433e8db24c6413815f4a99bb" dmcf-pid="GskAYgu5e7" dmcf-ptype="general">기업에서 AI 에이전트가 처리하는 작업이 늘어날수록 사람이 모든 실행 기록을 확인하기는 어려워진다. 어라이즈는 대규모언어모델(LLM)이나 평가용 에이전트를 활용해 실행 기록을 자동으로 평가하는 방식을 제시했다. 다만 기업의 업무 환경과 보안 위험에 맞는 평가 기준을 마련해야 한다는 설명이다.</p> <p contents-hash="ff335506852151ba72b5d21a2bcfc2b5c23706239efdf062832dfcccea068cfe" dmcf-pid="HOEcGa71du" dmcf-ptype="general">이 총괄은 "현업에서는 AI 에이전트를 평가한다고 해도 환각이나 도구 선택 여부 등 한두 가지 지표만 확인하는 경우가 많다"며 "실제 업무에 맞는 다양한 평가 기준을 만들고 지속적으로 개선해야 한다"고 강조했다.</p> <p contents-hash="005d75f46516a37225547ff350a9549c3a0e9f45090c65930d740a7ee406f34e" dmcf-pid="XIDkHNztnU" dmcf-ptype="general">AI 관측·평가 플랫폼 '어라이즈 AX(Arize AX)'를 활용한 사례도 제시됐다. 가령 A팀 소속 사용자가 사내 챗봇에 B팀의 예산 정보를 요청하면 사전에 설정된 접근권한 검사 장치가 이를 차단할 수 있다. 어라이즈 AX는 이 과정에서 어떤 정보를 요청했고, 어떤 이유로 접근이 거부됐는지 실행 기록으로 남기는 역할을 할 수 있다.</p> <p contents-hash="1689afcceac77d8277b2db850026d9d1ca29c16804dac9c18c6c5523c7c0b789" dmcf-pid="ZCwEXjqFLp" dmcf-ptype="general">LLM을 활용해 해당 기록을 분석하고 위험 여부를 평가할 수도 있다. 이 총괄은 평가 결과가 표시되기까지 약 10초가 걸린다고 설명했다. 어라이즈는 이처럼 실행 과정을 기록·평가하고, 평가 결과를 외부 보안 시스템과 연계해 추가 대응으로 이어지도록 지원한다.</p> <p contents-hash="177480c43a8e2e0cc2087f01a5b42e33eb9bb0c008d54ffffc91da05d863151b" dmcf-pid="5KupMtAiR0" dmcf-ptype="general">이 총괄은 AI 에이전트를 노리는 공격 방식이 다양해지고 있다는 점도 지적했다. 외부 이메일이나 문서에 악성 명령을 숨겨 AI가 이를 정상적인 업무 지시로 받아들이도록 유도하는 간접 프롬프트 인젝션이 대표적이다. 마이크로소프트 코파일럿에서 발견된 '에코리크(EchoLeak)' 취약점도 이러한 위험을 보여주는 사례로 소개했다.</p> <p contents-hash="47672b6aa5056d6e0c238fe2c6a0bf4edef983e37bf4edf6e5152a0d445ab8f9" dmcf-pid="197URFcnn3" dmcf-ptype="general">이에 따라 위험한 입력과 출력을 걸러내는 안전장치인 가드레일 구축에 그치지 않고, 모의 공격을 수행하는 레드팀 테스트로 방어 성능을 반복 검증해야 한다는 게 그의 설명이다.</p> <p contents-hash="74040bf2e459fb4b9e9eecc8f8d91ddbddc02c0b3aa0042950810654f0087878" dmcf-pid="t2zue3kLJF" dmcf-ptype="general">이승민 총괄은 "AI 에이전트가 어떤 행동을 하는지 정확히 파악하는 것이 거버넌스의 출발점"이라며 "실행 기록을 빠짐없이 수집하고 위험 여부를 평가해 실제 대응까지 연결하는 체계를 갖춰야 한다"고 말했다.</p> <p contents-hash="a2203cf04214a2f2cf9e57d719085de1a67988203f91e5f099cfe4c6699d5da1" dmcf-pid="FVq7d0EoMt" dmcf-ptype="general">정종길 기자<br>jk2@chosunbiz.com</p> </section> </div> <p class="" data-translation="true">Copyright © IT조선. 무단전재 및 재배포 금지.</p> 관련자료 이전 더키퍼 “전기차 화재 확산 방지 솔루션으로 초기 대응 골든타임 지킴이 될 것” [Start-up NEST 19기] 11-03 다음 “구독 대신 자체 개발”…SaaS 비용 줄이는 스타트업 11-03 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
