[AI 클로즈업] AI 에이전트 전환은 빠른데 '무검토 배포' 위험 증가 작성일 05-30 57 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="Ut0pixnQhC"> <figure class="figure_frm origin_fig" contents-hash="930476945d8b5c11b9138b1d51b849ede77fc384d05512e16edb594ebeb660d5" dmcf-pid="uFpUnMLxyI" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202605/30/552796-pzfp7fF/20260530112923893kuib.jpg" data-org-width="640" dmcf-mid="pGzqaJNdlh" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202605/30/552796-pzfp7fF/20260530112923893kuib.jpg" width="658"></p> </figure> <p contents-hash="119834d1ea57edbb9479d32908faf7c834296ac34308d7359d37cedbd8aa6507" dmcf-pid="73UuLRoMhO" dmcf-ptype="general">[디지털데일리 구아현기자] 인공지능(AI) 에이전트 시대 '무검토' 배포 위협이 높아지고 있다.</p> <p contents-hash="8fa2af10afdf8abfe0229c6f83f53da1b04a535e4beff3943e5cca2c15c704e3" dmcf-pid="z0u7oegRvs" dmcf-ptype="general">지난달 영국 런던에서 열린 앤트로픽(Anthropic) 개발자 행사 'Code with Claude 2026'에서 뜻밖의 장면이 연출됐다. 무대 위 엔지니어가 청중에게 물었다. "지난주에 Claude가 쓴 코드를, 한 줄도 읽지 않고 배포한 분 있나요?" 거의 절반이 그대로 손을 들고 있었다. MIT 테크놀로지 리뷰가 현장 취재해 보도한 이 장면이 이 장면이 업계에서 AI 에이전트에 대해 너무 믿는 문화라는 문제점을 보여주면 업계에서 논란이 되고 있다. 'AI 코딩 도구가 완벽하다'는 착각이 확산되는 사이, 검토 없는 자동화가 빚어내는 보안·품질 리스크가 수면 위로 떠오르고 있다.</p> <p contents-hash="044acb3a7bf263db3530834761004921a087a11c89aed1121610697f5a5b7fbc" dmcf-pid="q130JQiPym" dmcf-ptype="general">아마존 AI 코딩 에이전트도 문제를 일으켰다. 아마존 자체 AI 코딩 에이전트 '키로(Kiro)'가 AWS 코스트 익스플로러(Cost Explorer) 서비스의 버그를 수정하라는 임무를 받은 뒤, 프로덕션 환경 전체를 삭제하고 재구성하는 결정을 자율로 내린 것이다. 중국 본토 지역 AWS 코스트 익스플로러가 13시간 동안 다운됐다. 아마존의 공식 입장은 "AI 문제가 아닌 접근 제어 설정 오류, 즉 사용자 오류였다. 하지만 아마존은 사고 이후에야 프로덕션 변경에 대한 의무적 동료 검토 체계를 도입했다. 내부 직원은 엔지니어들이 AI 에이전트가 개입 없이 문제를 해결하도록 내버려 뒀고 장애는 작았지만 이번 위험은 예견 가능한 것들이었다고 증언했다.</p> <p contents-hash="aa1edcfa366ff1fe085c6e1758bd61244a11c5e2b7ef219b568daede66deb238" dmcf-pid="Bt0pixnQCr" dmcf-ptype="general">프로젝트디스커버리가 지난 4월 발표한 '2026 AI 코딩 영향 보고서(2026 AI Coding Impact Report)'에서 북미·서유럽 보안 담당자의 62%가 "AI 코드 증가로 검토 업무를 따라가기 어려워지고 있다"고 답했다. 전체 응답자 100%가 지난 12개월간 개발 속도가 빨라졌다고 했고, 49%는 그 원인을 AI 코딩 도구로 꼽았다. 베라코드가 2026년 2월 24일 발표한 '2026 소프트웨어 보안 현황 보고서(2026 State of Software Security Report)'는 전 세계 160만 개 애플리케이션 분석 결과, 고위험 취약점이 전년 대비 36% 급증했고 기업의 82%가 보안 부채를 안고 있다고 밝혔다. AI가 개발 속도를 전례 없는 수준으로 끌어올리면서 결함 생성 속도가 수정 역량을 앞지르고 있다는 것이다.</p> <p contents-hash="c99fd8c37992b7d74364a5874febe8a0fc898d185e7a64dac8d30dbf5ffae23e" dmcf-pid="bFpUnMLxWw" dmcf-ptype="general">조지아공대 시스템소프트웨어보안연구소(SSLab)가 운영하는 'Vibe Security Radar'는 AI 생성 코드로 직접 추적되는 공개 취약점(CVE)을 월별로 집계하고 있다. 2026년 1월 6건이던 수치가 2월 15건, 3월 35건으로 매달 두 배 이상 늘었다. 코드래빗(CodeRabbit)이 2025년 12월 발표한 'AI vs 인간 코드 생성 현황 보고서(State of AI vs Human Code Generation)'에서 오픈소스 PR 470건을 분석한 결과, AI 생성 코드의 전체 결함은 인간 작성 코드보다 1.7배 많았다. 크로스사이트스크립팅(XSS) 등 특정 보안 취약점 항목에서는 최대 2.74배까지 격차가 벌어졌다.</p> <p contents-hash="90cb49e27497852737d0e122baf1427548ddc71ba4b1234d240a460276f614f3" dmcf-pid="K3UuLRoMTD" dmcf-ptype="general">AI 코딩 도구로 인한 서비스 장애나 소스코드 유출은 현재 공개 보고 의무가 없다. 개인정보가 포함된 데이터 유출은 감독당국에 신고해야 하지만, 기업들은 AWS 사례처럼 AI 오류가 아닌 사용자 오류로 귀인해 AI와의 연관성을 지우는 경향이 있다. 정보통신기획평가원(IITP) 한 연구원은 "클로드 코드나 코덱스는 분명히 실수를 하며 문제는 사용자들이 그걸 모른다는 것"이라며 "AI 코딩 도구로 인한 대형 사고가 발생해도 기업들이 외부에 드러내지 않으면서 피해 규모가 제대로 집계되지 않는 측면도 있다"고 지적했다.</p> <p contents-hash="31f5fdd8e26afb2eab4b6aa83413e82f4e9c8da840a0b6572673c357601f9fe6" dmcf-pid="90u7oegRWE" dmcf-ptype="general">◆ AI 4대 석학도 경고…"핸들도 브레이크도 없이 달린다"</p> <p contents-hash="a787b97c89479cddd1460e47d4767576da089f1d0b3667de9fb82ddad6b6b7a7" dmcf-pid="2p7zgdaeyk" dmcf-ptype="general">딥러닝의 토대를 닦은 AI 4대 석학들이 올해 들어 잇따라 자율 에이전트의 위험에 대해 경고하고 있다.</p> <p contents-hash="74d53079e20cbc354c66913153ffed6df8042cb433c55ed02e2c1bdecc8c06a7" dmcf-pid="VUzqaJNdSc" dmcf-ptype="general">앤드류 응 스탠퍼드대 교수 겸 딥러닝AI 창업자는 지난달 28일 샌프란시스코에서 열린 'AI Dev 26 x SF' 기조연설에서 AI 에이전트가 코드 전체를 작성하는 방향으로 업계가 이미 가고 있다고 밝혔다. 그는 "개발자가 코드를 직접 짜는 대신, 기획·설계·판단까지 두루 할 수 있는 다방면 역량을 갖춘 인재가 소수로서 AI 에이전트 여러 개를 총괄·감독하는 구조가 앞으로의 방향"이라고 강조했다.</p> <p contents-hash="b6b3145c2667959fb22b73acc9d369136de73699ee89894bf2961869bd54e3ad" dmcf-pid="fuqBNijJCA" dmcf-ptype="general">'AI 대부'로 불리는 요슈아 벤지오 몬트리올대 교수는 올해 1월 다보스 세계경제포럼에서 "AI 시스템들을 점점 강력하게 만들고 있는데, 핸들이나 브레이크에 해당하는 것이 없다'며 "에이전트를 향해 나아가고 있다. 그 목표가 인간 가치와 완벽하게 정렬되지 않거나, 시스템이 인간에게 해로운 지름길을 찾으면 문제가 생긴다"고 말했다. 벤지오는 올해 2월 30개국 100명 이상의 전문가가 참여한 '2026 국제 AI 안전 보고서' 의장을 맡아 발표를 이끌었다. 이 보고서는 현재 AI 시스템이 "정보를 날조하고, 결함 있는 코드를 생성하고, 오해를 유발하는 조언을 제공하는 등 예측 불가능한 실패를 보일 수 있다"고 명시했다.</p> <p contents-hash="c8657c28f71153d868e76deedad93699d9718a4505b3d36a04a92c333b878214" dmcf-pid="4LaNXTZvvj" dmcf-ptype="general">2024년 노벨 물리학상을 받은 제프리 힌턴(Geoffrey Hinton) 전 구글 브레인 연구원은 올해 초 CNN 인터뷰에서 더 구조적인 위험을 짚었다. 그는 "AI 시스템은 최적화 과정에서 인간의 감독을 장애물로 인식하고 우회하려 시도한다"며 "당신을 제거하려 한다고 판단하면, 제거되지 않기 위해 속일 계획을 세울 것"이라고 말했다.</p> <p contents-hash="32d499ec57d94e19d5a8074b124bd4bf77c2cd6e1e1cae1b3fbec2b38b9bd42f" dmcf-pid="8oNjZy5TSN" dmcf-ptype="general">얀 르쿤(Yann LeCun) 전 메타(Meta) 수석과학자도 올해 5월 팟캐스트 인터뷰에서 "에이전트형 LLM은 본질적으로 안전하지 않다"며 "LLM의 자기회귀적 구조가 자신의 행동이 어떤 결과를 낳을지 예측하지 못하게 만들기 때문"이라고 말했다.</p> <p contents-hash="07fdbe5bef52638fe3a1ff09c798416a52948af3b24898ec511accf5ae1cd2e2" dmcf-pid="6gjA5W1yha" dmcf-ptype="general">◆ AI 에이전트 검증 체계 강화 필요</p> <p contents-hash="01936780352df6304361548a4d330871ed5c66463d38543a49f3768ebcac8d19" dmcf-pid="PaAc1YtWCg" dmcf-ptype="general">해법은 기술이 아닌 체계에 있다. 전문가들이 공통으로 꼽는 처방은 세 가지다. AI 에이전트에게 프로덕션 환경 직접 접근 권한을 주지 않는 것, 프로덕션 변경에는 반드시 인간 승인 단계를 두는 것, 에이전트의 모든 행동 로그를 감사 가능한 형태로 남기는 것이다. 사후 대응이 아니라 사전에 위험들을 감독하고 예측해야 한다.</p> <p contents-hash="15e17dea6db2c8c763af9aab6281ef083aef0f6245cf4060c8aea2f12bf6ae8a" dmcf-pid="QNcktGFYCo" dmcf-ptype="general">다만 인간 승인이나 검토에 대한 부담도 늘고 있다. 결정과 판단, 코드 생산의 속도가 인간이 따라갈 수 있는 속도를 이미 넘어서기 시작했다. AI 더 빠르게 더 많이 쏟아낼수록 인간이 검토할 수 있는 한계가 있다. 벤지오 교수는 "기업·정부·군은 비용이 많이 드는 '인간의 AI 결정 검증'을 줄여야 하는 압박을 받거나, 경쟁에서 뒤처질 위험을 감수해야 하는 딜레마에 처해 있다"고 경고했다. 그는 올해 2월 '2026 국제 AI 안전 보고서'를 통해서도 "기술이 개발되는 방식에 대한 민주적 감독이 있어야 한다"고 강조했다.</p> <p contents-hash="5c6ebb5f0eebdbad29ea9db3d5531b16b58f1f9bd99a12d0c1e49ae3bbc727ac" dmcf-pid="xjkEFH3GlL" dmcf-ptype="general">이 한계를 메우기 위해 업계가 내놓은 대안이 'AI가 AI를 검증하는' 구조다. 코드를 AI가 짜고, 검토도 AI가 하는 방식이다. 속도 문제는 해결되는 것처럼 보인다. 하지만 같은 데이터로 학습한 AI는 같은 패턴을 '정상'으로 인식하는 경향이 있다. 생성한 AI와 검토하는 AI가 동일한 맹점을 공유할 수 있다는 뜻이다. 코드를 의도에 비춰 검증하는 것이 아니라, 코드를 코드 자체에 비춰 검증하는 셈이다. 인간 감독 없이 AI끼리만 검증이 순환되는 구조에서는 오류가 걸러지지 않고 프로덕션까지 그대로 올라갈 수 있다.</p> <p contents-hash="b701c74e0f8bd0158e36b389faa3d255a8f5eae4926a31c019d03a66bd859d46" dmcf-pid="yp7zgdaeyn" dmcf-ptype="general">AI가 결정하고 행동한 결과의 책임은 결국 사람에게 돌아온다. 기술이 자율적으로 움직여도 법적 책임의 주체는 이를 도입하고 배포한 조직이다. 유럽 개인정보보호법(GDPR·General Data Protection Regulation)에 따르면 AI가 작성한 코드로 인해 데이터 유출이 발생할 경우 AI가 짰다는 변명은 통하지 않는다. 개발을 발주하거나 배포한 주체가 책임을 지며, 위반 시 최대 2000만 유로 또는 전 세계 연매출의 4% 중 높은 금액의 과징금이 부과된다.</p> <p contents-hash="eb9f96c7d1e97d87eeedfc8b48fc463c51c3fbf95f61852b4156c8ed294153f4" dmcf-pid="WUzqaJNdSi" dmcf-ptype="general">AI 업계 관계자는 "AI 도구 도입을 홍보하면서 에이전트 오류는 조용히 덮는 경향이 있다"며 "사고가 반복되는데도 업계 차원의 투명성 논의가 없다는 것이 문제"라고 지적했다.</p> </section> </div> <p class="" data-translation="true">Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.</p> 관련자료 이전 4시간 53분의 혈투 끝 무너졌다...조코비치, 프랑스오픈 3R 탈락 05-30 다음 이변 쏟아지는 프랑스오픈…'메이저 우승 24회' 조코비치도 탈락 05-30 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
