AI 최종 승인, 인간이면 충분할까…위험 명령 3건 중 1건 허용 작성일 08-09 29 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">AI 코딩 에이전트 명령 40만9천 건 분석…익숙한 용어 오인으로 인한 위험 승인율 64.7%</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="qQsQimsAaz"> <p contents-hash="9ae4425cce84cdd1548e106b61bc9c7115c829c1e68f4f737915463ffaaf0e77" dmcf-pid="BehegChDo7" dmcf-ptype="general">(지디넷코리아=남혁우 기자)인공지능(AI)의 오작동이나 보안 사고를 막기 위해 사람이 최종 검토하는 방식이 기대만큼 효과적이지 않을 수 있다는 분석이 나왔다.</p> <p contents-hash="ab7a9abde9ee4ebcc25cbee2fab4cfa393ad3950559e66b603565b5232780ae3" dmcf-pid="bdldahlwcu" dmcf-ptype="general">8일 알렉스 워터스 커스터메이트 최고기술책임자(CTO)는 AI 에이전트 승인 체계의 한계를 분석한 실험 결과를 블로그를 통해 공개했다.</p> <p contents-hash="0dc34011a28cf1385cbbda67d934a92f742726748a398c189eabfaa86307fa58" dmcf-pid="KJSJNlSrgU" dmcf-ptype="general">사용자가 AI 코딩 에이전트가 실행하려는 명령을 승인하거나 거부하는 방식의 게임을 진행한 결과 위험한 명령 3건 중 1건꼴로 승인한 것으로 나타났다.</p> <figure class="figure_frm origin_fig" contents-hash="a29eb8195ec9a4cfa41d015530be0fe7a746b16e16ce513fc76a40d95042d757" dmcf-pid="9ivijSvmgp" dmcf-ptype="figure"> <p class="link_figure"><img alt="알렉스 워터스 커스터메이트CTO는 조사 결과 AI 검수 중 평균적으 3번의 공격 시도 중 1번을 놓쳤다고 밝혔다(이미지=알렉스 워터스 블로그)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/09/ZDNetKorea/20260809072338330vvcu.png" data-org-width="640" dmcf-mid="zvMt7xMVoq" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/09/ZDNetKorea/20260809072338330vvcu.png" width="658"></p> <figcaption class="txt_caption default_figure"> 알렉스 워터스 커스터메이트CTO는 조사 결과 AI 검수 중 평균적으 3번의 공격 시도 중 1번을 놓쳤다고 밝혔다(이미지=알렉스 워터스 블로그) </figcaption> </figure> <p contents-hash="6f5c6fca0730ff3905bba7a3e409d9a0dcbd706d7a7d3375ba3fea84f2aa949a" dmcf-pid="2nTnAvTsA0" dmcf-ptype="general">워터스 CTO는 간단한 브라우저 게임을 만들어 AI 에이전트 명령을 사람이 검토하는 방식의 실효성을 실험했다. 이 게임은 사용자가 AI 코딩 에이전트의 인간 검토자 역할을 맡아 제한된 시간 안에 에이전트가 실행하려는 명령을 승인하거나 거부하는 방식으로 진행된다.</p> <p contents-hash="4576b022f6b68ac130872a5930d61ec40387db17838177b8b21ff9497cd2f7f3" dmcf-pid="VLyLcTyOk3" dmcf-ptype="general">약 4만 회의 게임 플레이와 40만9천여건의 승인·거부 데이터를 분석한 결과 참가자들은 위험 명령 약 33.7%를 승인한 것으로 집계됐다. 참가자 가운데 약 7%는 모든 명령을 무조건 승인했으며, 전체 참가자 중 약 33%는 잘못된 승인·차단이 누적되면서 최종 점수가 마이너스를 기록했다.</p> <p contents-hash="e1f1f84d3780b9481c39295cdd930f5a135d5b55a00fe0ca19de2b90f5b62f0e" dmcf-pid="foWokyWINF" dmcf-ptype="general">특히 개발자가 프로그램 분석·점검 작업을 실행할 때 사용하는 일반적인 명령에 데이터 유출 기능을 숨긴 사례에서 승인율이 64.7%까지 치솟았다. 겉으로는 평범한 작업처럼 보이는 명령 뒤에 다른 동작이 포함돼 있어도 사용자가 실제 동작보다 익숙한 이름이나 형태에 의존해 판단할 가능성이 높다는 설명이다.</p> <p contents-hash="1b191e9437f858c6694a814f96f4f4054a91c2b079c3e6d39e7e57144229ad90" dmcf-pid="4gYgEWYCct" dmcf-ptype="general">위험 유형별로도 차이가 나타났다. 참가자들은 시스템 삭제와 같은 노골적인 파괴 명령보다 정보 탈취나 권한 확대와 관련된 명령을 더 자주 놓쳤다. 민감한 정보에 접근하는 명령은 35%가 승인됐으며 외부 서버로 데이터를 전송하거나 코드를 실행하는 명령도 33.4%가 통과됐다. 반면 시스템 파일을 삭제하는 등 명백하게 파괴적인 명령은 상대적으로 높은 비율로 거부됐다.</p> <p contents-hash="e05da61ddc4202522eb346c9169f366d43d3b26c8594bd8e30871fd00bb024f0" dmcf-pid="8aGaDYGhN1" dmcf-ptype="general">이는 AI 에이전트가 사용자에게 매번 실행 권한을 묻는 방식만으로는 보안 사고를 충분히 막기 어렵다는 점을 보여준다. 사용자가 명령 하나하나의 내용을 확인하기보다 익숙한 작업인지 여부를 기준으로 빠르게 판단할 경우, 겉보기에는 정상적인 명령에 악성 동작이 포함돼 있어도 이를 식별하기 어렵기 때문이다.</p> <p contents-hash="3cd3909db6d2ec0eefce6ce8ffa03a0d8220c9c8a8e8511fe97b9a97d9e75ec9" dmcf-pid="6NHNwGHlj5" dmcf-ptype="general">워터스 CTO는 이러한 현상을 '권한 피로(Permission Fatigue)'와 연결했다. AI 에이전트가 작업을 수행할 때마다 사용자에게 승인을 요청하면 초기에는 각 요청을 주의 깊게 살펴보더라도 반복되는 요청에 익숙해지면서 점차 기계적으로 승인할 가능성이 높아진다는 설명이다.</p> <p contents-hash="43d0e6856a68f271be3f524aa2e1ba4694541b76587ab61253263381f0710a0a" dmcf-pid="PjXjrHXSoZ" dmcf-ptype="general">AI 코딩 에이전트가 수행할 수 있는 작업 범위가 넓어지는 것도 문제를 키울 수 있다. 단순히 코드를 작성하는 것을 넘어 파일을 수정하거나 삭제하고, 프로그램을 실행하며, 외부 서비스와 연결하거나 클라우드 환경의 자원에 접근하는 등 실제 개발 환경에 영향을 미치는 작업까지 수행할 수 있기 때문이다.</p> <p contents-hash="976e69b99349e262a1e9ef552d2a06494e8cd93bf79f380c55dfa274f7ba38ab" dmcf-pid="QAZAmXZvAX" dmcf-ptype="general">결국 핵심은 '사람이 승인했는가'가 아니라 '사람이 무엇을 승인했는가'로 이동한다. 단순히 명령 실행 전 승인 버튼을 제공하는 것만으로는 부족하고, 해당 명령이 실제로 어떤 파일과 데이터에 접근하는지, 어떤 외부 통신을 발생시키는지, 기존 작업 범위를 벗어나는 행동을 하는지를 함께 판단할 수 있어야 한다는 의미다.</p> <p contents-hash="8dda22f71ed4a8b3a58db04816c63610aa5ffa5bd274720cf0728bc5106c545a" dmcf-pid="xhqhYzqFoH" dmcf-ptype="general">다만 이번 실험 결과를 실제 기업의 AI 에이전트 사용 환경에서 발생하는 위험 비율로 그대로 해석해서는 안 된다. 워터스 CTO는 게임의 특성상 실제 개발 환경보다 위험한 명령의 비중을 높게 설정했다고 설명했다. 또한 게임 참여자가 실제 개발 업무에서 AI 에이전트를 사용하는 개발자와 동일한 집단이라고 볼 수도 없다고 덧붙였다.</p> <p contents-hash="14311eebf342f644d61515dcb99ca840a073bd7ae3db95d699eab426239f2a82" dmcf-pid="y4D4REDgaG" dmcf-ptype="general">그는 "이번 실험은 학술 연구는 아니지만 AI 코딩 에이전트의 보안 경계로서 휴먼 인 더 루프 방식이 가진 여러 문제를 보여준다고 생각한다"며 "많은 승인 요청과 불필요한 경고가 피로를 유발하면서 개발자가 결국 승인 절차 자체를 우회하려 할 수 있고 개발자가 변경된 내용을 신속하게 파악할 수 있는 충분한 맥락을 갖지 못하는 경우도 있다"고 설명했다.</p> <p contents-hash="df3f7a7466d80575d80eea2409fe94274b5b0666904ebcf4dce24edf43719288" dmcf-pid="W8w8eDwajY" dmcf-ptype="general">이어 "샌드박싱과 엄격한 컨텍스트 격리 등 도구 자체를 더 안전하고 사용하기 쉽게 만들어야 한다"며 "이러한 안전장치가 마련되기 전에 휴먼 인 더 루프를 적절한 대안으로 간주하고 에이전트에 광범위한 권한을 부여해서는 안 된다"고 강조했다.</p> <p contents-hash="1f8799720c43c1e767ca2917791f01af9f5cbce6cbec01d9ab68b6baaaceccb3" dmcf-pid="Y6r6dwrNAW" dmcf-ptype="general">남혁우 기자(firstblood@zdnet.co.kr)</p> </section> </div> <p class="" data-translation="true">Copyright © 지디넷코리아. 무단전재 및 재배포 금지.</p> 관련자료 이전 AI 학과 늘리기만으론 부족…"모든 전공에 AI 역량 심어야" 08-09 다음 여성 슈즈 브랜드 '허영', 현대백화점 피어 5개점 동시 입점 08-09 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
