"싼 표 대신 비싼 표 예약한다면"…카카오, AI 행동 통제 추진 작성일 10-13 42 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">AI 에이전트 위험 세분화…격리 환경서 행동 검증·안전장치 개발<br>이용자 통제권 강화…AI 윤리 점검 기준도 연내 개</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="K5ILSau51s"> <figure class="figure_frm origin_fig" contents-hash="4aa0400a1385fcd7cc01aa81a31e25e10c7c7acd545f7037b2857c87cea97c8d" dmcf-pid="91CovN71Gm" dmcf-ptype="figure"> <p class="link_figure"><img alt="카카오 AI 세이프티 이니셔티브 2.0. 2026.10.13 ⓒ 뉴스1 유수연 기자" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/13/NEWS1/20261013170351165usub.jpg" data-org-width="1400" dmcf-mid="bUycHD9UHO" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/13/NEWS1/20261013170351165usub.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 카카오 AI 세이프티 이니셔티브 2.0. 2026.10.13 ⓒ 뉴스1 유수연 기자 </figcaption> </figure> <p contents-hash="dcae28722ef5c7a4d8779c8d2ca541470d8584b059b2d4c50b096c4da91dc2e8" dmcf-pid="2thgTjztGr" dmcf-ptype="general">(용인=뉴스1) 유수연 기자 = 가장 저렴한 항공권을 찾아달라고 했는데 인공지능(AI)이 더 비싸고 빨리 출발하는 표를 예약한다면 어떨까. 카카오(035720)가 AI에 업무를 맡길 때 발생할 수 있는 위험으로 제시한 사례다. 카카오는 실제 업무를 수행하는 AI 에이전트가 이용자의 지시를 벗어나거나 권한을 남용하는 것을 통제하기 위한 안전장치 개발에 나섰다.</p> <p contents-hash="d0a631eff5440f7af045da13319c32580eb782a6a262321ad3db5272c7e142ff" dmcf-pid="VFlayAqFZw" dmcf-ptype="general">김경훈 카카오 AI 세이프티 리더는 13일 경기 용인시 카카오 AI 캠퍼스에서 열린 개발자 콘퍼런스 '이프 카카오26'(if(kakao)26)에서 AI의 위험을 관리하는 'AI 세이프티 이니셔티브 2.0' 추진 방향을 공개했다.</p> <p contents-hash="a5f33bb6b1c4f19da77779d873a1f3876cc919aeebd640ffe79e7c06c7234b3c" dmcf-pid="f3SNWcB3tD" dmcf-ptype="general">김 리더는 "대화형 AI는 주로 말로 실패하게 된다"며 "그런데 에이전트 AI로 넘어오면서 단순히 말로 실패하는 게 아니라 행동으로 실패하게 된다"고 말했다.</p> <p contents-hash="61468a230bf1c6e0ccfb2b24994ee26a6462b3668256040a84dda3a29c468096" dmcf-pid="40vjYkb0ZE" dmcf-ptype="general">기존 대화형 AI는 부정확하거나 유해한 답변을 내놓는 것이 주요 위험이었다. 그러나 AI 에이전트는 데이터를 삭제하거나 메시지를 보내는 등 실제 업무를 수행할 수 있어 잘못된 행동을 사후에 되돌리기 어렵다.</p> <p contents-hash="6f86517887be8057d95c1d8ed7b0e5e72a9316fce9a9a2654a563df35d5c6693" dmcf-pid="8pTAGEKp5k" dmcf-ptype="general">실제로 지난 7월 오픈AI가 사이버보안 능력을 평가하던 AI 에이전트가 격리된 시험 환경을 벗어나 플랫폼 허깅페이스의 운영 인프라에 침입한 사건이 발생했다.</p> <p contents-hash="18f48d32c569c669d8e185743f0763b354ab8519ea17fa73a9fc37f23954b4e0" dmcf-pid="6kRzibIkZc" dmcf-ptype="general">카카오는 이같이 AI 에이전트가 사람의 지시를 벗어나거나 권한을 남용하는 등 위험을 세분화했다.</p> <p contents-hash="0b052985bb032dd22b8f1d7ef5ec7dd44c7b00ab03d2b993b99f6076fafe89c4" dmcf-pid="PEeqnKCE5A" dmcf-ptype="general">예를 들어 가장 저렴한 항공권을 찾아달라는 요청을 AI 에이전트가 잘못 인지해 더 비싸면서 빨리 출발하는 항공권을 예약한다면 원래 목표에서 벗어난 것이다.</p> <p contents-hash="c6f5ef7d9887cc01961be196af642e1c94123b5ae6697cce87154f56705940c5" dmcf-pid="QDdBL9hD5j" dmcf-ptype="general">공격자가 여행 후기 사이트에 특정 업체의 항공권을 예약하도록 지시하는 프롬프트를 심어놓은 경우 AI가 이용자의 요청과 관계없이 공격자가 의도한 대로 예약할 수도 있다.</p> <p contents-hash="0814451bc8350a68279c9f600978dd80c92931a6869a57da5f7ab4f281c8ba24" dmcf-pid="xwJbo2lwtN" dmcf-ptype="general">카카오는 위험별 평가 시나리오를 만들어 외부 시스템과 격리된 '샌드박스' 환경에서 에이전트가 어떻게 행동하는지 평가할 계획이다.</p> <p contents-hash="2afab263ff6ddf3e94883daa193580f708bb2327336e8410ed9885b49d48ffc4" dmcf-pid="yBXrtO8B1a" dmcf-ptype="general">위험 발생 빈도와 심각도를 평가하고 실제 서비스에서 AI가 허용된 권한을 벗어나는 행동을 하면 이를 탐지하는 '가드레일' 기술도 개발한다.</p> <p contents-hash="c56fe4f72ae881b9ed12fb86646867df0117f60366f17d4922d16c5e196a929b" dmcf-pid="WbZmFI6b5g" dmcf-ptype="general">기술적 통제와 함께 윤리 기준도 손질한다. 하진화 카카오 AI 커뮤니케이션 수석은 AI에 맡길 행동의 범위와 사람의 개입이 필요한 시점을 서비스 설계 단계부터 정해야 한다고 강조했다.</p> <p contents-hash="fad5e3507287b12ebeebec675e49818290a932190110509ff3773eaebfaf3bbb" dmcf-pid="YK5s3CPKYo" dmcf-ptype="general">AI 서비스의 권한 설정과 위험 대응을 확인하는 신규 체크리스트는 연내 기존 체계를 대체할 예정이다. 아동·청소년 보호 체크리스트에 AI 과의존과 개인정보 문제 등 특유의 문제를 추가로 반영하는 방안을 검토 중이다.</p> <p contents-hash="1ff8b1c47f6a3fdd921b4552f795c1d4c793ad860ad7d5a29b3c8912e2160fb1" dmcf-pid="G91O0hQ9GL" dmcf-ptype="general">하 수석은 "AI에 무엇을 어디까지 맡길지, 언제 사람이 확인할지, 문제가 생기면 어떻게 멈출지를 고민해야 한다"며 "실행 능력이 커질수록 그에 맞는 책임과 통제를 함께 설계해야 한다"고 설명했다.</p> <p contents-hash="d59af85e51f8b288b9f7f22175ecf66028bcbd6f6773c6974296660c1a68361d" dmcf-pid="H2tIplx2Gn" dmcf-ptype="general">shushu@news1.kr<br><br><strong><용어설명></strong><br><br>■ AI 에이전트<br>AI 에이전트는 환경과 상호작용하고 데이터를 수집·분석한 후 사전 설정한 목표를 달성하고자 필요한 작업을 스스로 결정하고 수행하는 자율 지능형 시스템이다.<br><br> </p> </section> </div> <p class="" data-translation="true">Copyright © 뉴스1. All rights reserved. 무단 전재 및 재배포, AI학습 이용 금지.</p> 관련자료 이전 카카오게임즈, 신작 흥행 기대감에도…'708억 금융비용' 숙제 10-13 다음 심민석 포스코DX 대표 “AI가 80% 일해도 중심은 사람” 10-13 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
