"사람 속이던 해커, 이젠 AI도 속인다"…MS 연구진 경고 작성일 11-03 18 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">줄리아 디아멘트 MS AI 아키텍트 "연 1회 보안 점검으론 부족"</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="F7JHvi3GGT"> <figure class="figure_frm origin_fig" contents-hash="492b56dea4068dc8b77e271098f433c0f69d065236039ab609661453d557d405" dmcf-pid="3ziXTn0HHv" dmcf-ptype="figure"> <p class="link_figure"><img alt="줄리아 디아멘트 마이크로소프트(MS) 이스라엘 보안 연구개발센터 CTO실 수석 AI 아키텍트. (링크드인 갈무리)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/03/NEWS1/20261103150357540jcwh.jpg" data-org-width="400" dmcf-mid="trtLRFcn1y" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/03/NEWS1/20261103150357540jcwh.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 줄리아 디아멘트 마이크로소프트(MS) 이스라엘 보안 연구개발센터 CTO실 수석 AI 아키텍트. (링크드인 갈무리) </figcaption> </figure> <p contents-hash="1fa238396a295a6a3f9b12027b27ecc00c521412cfb7297b1c0fac47ebc97007" dmcf-pid="0qnZyLpX5S" dmcf-ptype="general">(서울=뉴스1) 이민주 기자 = 사람을 속여 정보를 빼내거나 특정 행동을 유도하던 사이버 공격이 인공지능(AI)까지 겨냥할 수 있다는 경고가 나왔다. AI 에이전트가 구매와 협상, 승인 등 사람의 의사결정을 대신하는 사례가 늘면서 공격자들이 AI를 속여 의도한 행동을 유도할 수 있다는 것이다.</p> <p contents-hash="e4a43d6b77c032e77221a69d34f64cf362b9738b19070c7dc8c91ff316433308" dmcf-pid="pBL5WoUZZl" dmcf-ptype="general">줄리아 디아멘트(Julia Diament) 마이크로소프트(MS) 이스라엘 보안 연구개발센터 최고기술책임자(CTO)실 수석 AI 아키텍트는 3일 판교 제2테크노밸리에서 열린 '한-이스라엘 사이버보안 포럼'(Israel–Korea Cybersecurity Forum 2026) 영상 강연에서 "앞으로 설득 공격의 대상은 사람이 아니라 또 다른 AI가 될 수 있다"고 말했다.</p> <p contents-hash="b1d8f03e4bf3e6f332130812af7fef5ad1c8551cb483cc8951ffafdf2b410699" dmcf-pid="Ubo1Ygu51h" dmcf-ptype="general">디아멘트는 AI 기술의 발전으로 사이버 공격의 방식과 대상이 달라지고 있다고 진단했다.</p> <p contents-hash="dfc5681a7ed3ab2afacc71280afd06a1898ef82d32013ade2362cdb757e42a08" dmcf-pid="uKgtGa715C" dmcf-ptype="general">그에 따르면 기존 사회공학적 공격은 사람을 설득하거나 속여 특정 행동을 유도하는 방식으로 이뤄졌으나 AI 에이전트가 사람을 대신해 의사결정을 수행하게 되면서 공격자들이 사람뿐 아니라 AI의 의사결정 과정도 겨냥할 수 있게 됐다.</p> <p contents-hash="03f8b10a9a4d57c3794b149f93095e2660d6604f45c7f762c69a11101707d240" dmcf-pid="7Vj0ZAB35I" dmcf-ptype="general">그는 "지금까지는 AI가 인간의 판단에 어떤 영향을 미치는지 생각해 왔지만 점점 더 많은 결정이 AI 에이전트로 넘어가고 있다"며 "구매와 추천, 협상, 승인 등이 대표적"이라고 설명했다.</p> <p contents-hash="87593aede0837eab7999ea94a662eb6e29b85517c13dbec9750ad3a64559bf13" dmcf-pid="zfAp5cb0YO" dmcf-ptype="general">이어 "AI가 다른 AI에 영향을 미치는 'AI-to-AI 영향력 행사'가 특히 흥미로운 분야가 될 것"이라며 "AI의 자율성이 높아지고 인간의 개입이 줄어들수록 시스템의 의사결정을 겨냥한 공격이 증가할 수 있다"고 전망했다.</p> <p contents-hash="5cce6516bc50ab86441a5473c92e9bdccee7f74ea96f1ab440d967b5394e63ed" dmcf-pid="q4cU1kKpts" dmcf-ptype="general">디아멘트는 이러한 변화에 대응하기 위해 기존 보안체계의 운영 방식도 달라져야 한다고 강조했다.</p> <p contents-hash="5e0d705b462cef36bb3a7c301dacc6b365e9befabbb5cf07cfbe7d6aa77c800d" dmcf-pid="B8kutE9UGm" dmcf-ptype="general">특히 보안 점검에서 발견한 문제를 일회성 결과로 남기는 것이 아니라 반복적으로 검증할 수 있는 평가 항목으로 전환해야 한다고 했다.</p> <p contents-hash="cff541d72d10d6976619f937da7788a31984c71b40063a7ea1cde77fde5c887d" dmcf-pid="b6E7FD2u1r" dmcf-ptype="general">그는 "1년에 한 번 침투 테스트를 하거나 제품 출시 전 한 차례 보안 평가를 수행하는 것으로는 충분하지 않다"며 "시스템을 지속적으로 공격하고 검증하는 '상시 레드팀 테스트'(Continuous Red Teaming)가 필요하다"고 말했다.</p> <p contents-hash="21879fedae20f18ed2ef2194a2f78a3c3947cca548908a6b9e0eb6d2c4f5ce71" dmcf-pid="KPDz3wV75w" dmcf-ptype="general">레드팀 테스트는 실제 공격자의 관점에서 시스템의 취약점과 보안 대응 능력을 점검하는 방식이다.</p> <p contents-hash="455b467f3b116287b163d70ab00672fc5f5b97545f3d0b8ae6ee3a8be7b43d53" dmcf-pid="9Qwq0rfz5D" dmcf-ptype="general">그는 "레드팀 테스트는 시스템이 어떻게 행동하는지 알려주지만 왜 그런 행동을 하는지까지 설명해 주지는 않는다"며 "AI가 실제로 어떤 목표를 추구하고 어떤 지시에 따라 행동하는지 이해해야 한다"고 말했다.</p> <p contents-hash="be4e1f0bb84eceac9d32e0da1bc54c92f7bc539a0057c5c5a5991745cade1440" dmcf-pid="2xrBpm4qtE" dmcf-ptype="general">이를 위해 MS와 이스라엘 벤구리온대가 공동 연구한 '프리즘'(PRISM) 기술도 소개했다. 프리즘은 AI가 내놓은 최종 답변뿐 아니라 모델 내부에서 활성화된 지시와 목표를 분석해 숨겨진 작동 목적을 파악하는 기술이다.</p> <p contents-hash="ea7ae8aaa88f5ff0f4fa2cff03f7f096ab1530067ffd6f34d0de797dd0d31d71" dmcf-pid="VMmbUs8Btk" dmcf-ptype="general">디아멘트는 "문제는 AI 모델이 무엇을 말하느냐가 아니라 무엇을 달성하려고 하느냐에 있을 수 있다"며 "AI 에이전트에 더 많은 결정을 위임할수록 의사결정 계층 자체를 보호해야 한다"고 강조했다.</p> <p contents-hash="abc805b3e1e32c0051e16cb693ad2100c8532041792c6cf932ee9be549a28564" dmcf-pid="fZ4Cw8WIHc" dmcf-ptype="general">minju@news1.kr </p> </section> </div> <p class="" data-translation="true">Copyright © 뉴스1. All rights reserved. 무단 전재 및 재배포, AI학습 이용 금지.</p> 관련자료 이전 [전문가기고] 5G는 사람이 보는 망, 6G는 AI가 보는 망 11-03 다음 쇼핑객 긴줄…‘좀비 도시’ 떠났던 유니클로, AI 붐 타고 샌프란 ‘컴백’ 11-03 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
