"AI가 멋대로 주문하면 어쩌지?"…'안전장치'로 통제한다 [이프 카카오] 작성일 10-13 31 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">정신아 카카오 대표 "AI 확장할수록 신뢰 중요"…이용자 선택·통제권 강조</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="XsnLnuwaS7"> <figure class="figure_frm origin_fig" contents-hash="0166ec5c2513509e2ff6c692b0212cf06c99d44a34f2e9d5da0361e8a07ca2fd" dmcf-pid="ZOLoL7rNvu" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/13/552796-pzfp7fF/20261013134232483tkje.png" data-org-width="640" dmcf-mid="GB929Te4Wq" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/13/552796-pzfp7fF/20261013134232483tkje.png" width="658"></p> </figure> <p contents-hash="a3e3c1806f98d671cb281c71ad84d4ec5ec0b5bff6954cd2ea69bc75471797f1" dmcf-pid="5IogozmjSU" dmcf-ptype="general">[디지털데일리 채성오기자] 카카오가 인공지능(AI) 에이전트의 활동 범위를 넓히면서 개인정보 오남용과 무단 주문·결제 등을 방지하기 위한 안전 체계를 강화한다.</p> <p contents-hash="90e1e6a8efc18e44db642482b38093358c145738a836e23ba64589e8e960866a" dmcf-pid="1CgagqsAvp" dmcf-ptype="general">AI가 유해한 답변을 생성하는지 확인하는 수준을 넘어 이용자의 의도에 맞게 행동 계획을 세우고 실제 작업을 수행하는지까지 검증하겠다는 구상이다.</p> <p contents-hash="b67be0de7258610dbe92282b0c60ebfbec95366c408cca59c0c744ab1417f2b1" dmcf-pid="thaNaBOcW0" dmcf-ptype="general">13일 정신아 카카오 대표는 이날 경기 용인시 카카오 AI 캠퍼스에서 열린 '이프 카카오 26' 키노트에서 AI 에이전트 시대의 핵심 과제로 '이용자 안전'과 '플랫폼 신뢰 확보'를 제시했다.</p> <p contents-hash="4c8706f30cb754066e856db8385c1041a636a0b2b0b571c50738b480f19138ba" dmcf-pid="FlNjNbIkl3" dmcf-ptype="general">정 대표는 AI와 자동화 기술이 편의를 제공하는 동시에 로맨스 스캠 등 사기와 불법 콘텐츠의 대량 생성·유포에 악용될 수 있다고 지적했다. 실제 한 글로벌 메신저가 6개월 동안 사기 관련 계정 600만개 이상을 차단한 사례도 언급했다.</p> <p contents-hash="30f651368e633e7ef7d6a4cd287f37f63ae8e322190dfeb7f36bcddff1972546" dmcf-pid="3SjAjKCECF" dmcf-ptype="general">현장에서 정 대표는 "에이전트가 할 수 있는 일이 많아질수록 이를 안전하게 연결하고 운영할 책임도 커진다"며 "이용자가 어떤 정보를 제공하고 어디까지 업무를 맡길지 직접 선택해야 한다"고 강조했다.</p> <figure class="figure_frm origin_fig" contents-hash="833342bb538c2901f4cb3ad409ae3e710f5465784906143e52f46945570cf832" dmcf-pid="0vAcA9hDvt" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/13/552796-pzfp7fF/20261013134233860zjlb.png" data-org-width="640" dmcf-mid="H6pUpmfzTz" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/13/552796-pzfp7fF/20261013134233860zjlb.png" width="658"></p> </figure> <p contents-hash="37df84ef7fbf7d4f1907b447f437c9daa1f83d9481793e0e9a005ab1dde06852" dmcf-pid="pTckc2lwl1" dmcf-ptype="general">구체적인 기술적 대응 방안은 송재하 카카오 최고기술책임자(CTO)가 소개했다. 카카오는 AI의 안전성을 ▲데이터 활용 조건 ▲행동 허용 범위 ▲지속 가능한 운영 등 세 가지 측면에서 관리한다는 방침이다.</p> <p contents-hash="9f89ccbd3aa22baf3e4f87c88341578f551546e479b2953b1c5bba91e243aca0" dmcf-pid="UykEkVSrT5" dmcf-ptype="general">우선 데이터 수집 목적과 이용자 동의 범위를 확인하고, 허용된 정보만 AI 에이전트에 제공한다. 전사 데이터 카탈로그를 활용해 정보의 출처와 관리 책임을 추적하고 권한·민감도에 따른 위험을 평가하는 체계도 마련하고 있다.</p> <p contents-hash="93a92d32fa9f631eeb06232e2447d574335e31dbd8e6a6fa08e02d0f904114d0" dmcf-pid="ueBbBlx2TZ" dmcf-ptype="general">AI의 행동을 제한하는 장치도 강화한다. 예컨대 특정 생수를 주문하라는 요청을 받은 AI가 품절을 이유로 다른 상품을 임의 구매하려 한다면 실행을 중단하고 이용자에게 확인받도록 하는 방식이다.</p> <p contents-hash="a83fdb98d3a3b9da219d187f6d962090926db47308289b597b7121cf73b98a06" dmcf-pid="7dbKbSMVvX" dmcf-ptype="general">이를 위해 카카오는 위험 요소를 파악하는 'AI 가디언스'와 안전성 평가 플랫폼, 자체 개발한 '카나나 세이프가드'를 연계한다. 특히 AI의 최종 답변뿐 아니라 작업 계획, 도구 호출, 실행 과정까지 시험 환경에서 점검해 비정상적인 행동을 차단할 계획이다.</p> <p contents-hash="36a3c5b4d0e14d17a5bd3087b69e02ae6289ce8d6c861aaf574c3674dc6e107d" dmcf-pid="zJK9KvRfyH" dmcf-ptype="general">송 CTO는 "기억은 판단의 근거가 될 수 있지만 행동의 권한이 되지는 않는다"며 "이용자가 허락한 범위와 AI가 실제로 실행할 수 있는 행동을 구분해야 한다"고 설명했다.</p> <p contents-hash="b726f35f00d14d6765456f94e4e9ec947bf17bd47cbd7ec08e1d1b4194f18469" dmcf-pid="qi929Te4hG" dmcf-ptype="general">서비스 안정성 확보도 주요 과제다. 카카오는 연중 일부 시점에 트래픽이 평소보다 7~18배 증가하는 상황에 대응하기 위해 내부 인프라와 외부 클라우드를 연결하는 하이브리드 클러스터를 준비하고 있다.</p> <p contents-hash="ef37edde88caefb5808f1d2aca99545d5974529d063ed8125678a9633ce47671" dmcf-pid="Bn2V2yd8SY" dmcf-ptype="general">카카오는 이 같은 안전·운영 체계를 바탕으로 AI가 이용자의 요청을 실제 결과로 연결하면서도 허용된 권한을 벗어나지 않는 서비스 환경을 구축한다는 방침이다.</p> </section> </div> <p class="" data-translation="true">Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.</p> 관련자료 이전 [동아게임백과사전] “창식이 말고 테드창!” 해외에선 다른 이름 쓰는 게임들 10-13 다음 “카카오 AI, 사회적가치 연 5506억원 추정” 10-13 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
