에이전틱 AI 결정하고 사람은 승인만…가트너 “HITL 착각 조짐” 작성일 06-06 40 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="5z0sxcsAmd"> <figure class="figure_frm origin_fig" contents-hash="c88439c3756ca56310d06951dfd52c3d954ddffe0fc0fedb7e8593aec8fe03a5" dmcf-pid="1qpOMkOcme" dmcf-ptype="figure"> <p class="link_figure"><img alt="ⓒ게티이미지뱅크)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/06/etimesi/20260606160310886nyem.png" data-org-width="700" dmcf-mid="ZEN9yu9UwJ" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/06/etimesi/20260606160310886nyem.png" width="658"></p> <figcaption class="txt_caption default_figure"> ⓒ게티이미지뱅크) </figcaption> </figure> <p contents-hash="a458e1728869825bcd726e77957aa0e37996ea493a2a6297bc00ac387f81abb1" dmcf-pid="tBUIREIkmR" dmcf-ptype="general">스스로 생각하고 행동하는 인공지능(AI) '에이전틱 AI'가 발전할수록 AI가 결정하고 사람은 형식적 승인만 할 것으로 전망됐다. 그럼에도 사람이 스스로 결정했다고 착각하는 문제가 불거질 것으로 관측됐다.</p> <p contents-hash="4a6c1c5f46e74cfe9315fa309c96ab2ab0b4fbd7156e88f2c22a813db1eba0da" dmcf-pid="FbuCeDCEDM" dmcf-ptype="general">가트너는 최근 '인간 중심 AI 거버넌스:인간 개입 오류 극복' 보고서를 통해 AI가 확산될수록 실제 결정권은 AI로 이동하고, 인간은 사실상 승인 버튼만 누르는 존재로 전락할 위험이 커진다고 지적했다. 또 이를 인간이 개입하고 있으니 안전하다는 'HITL(Human-in-the-Loop) 착각'으로 규정했다.</p> <p contents-hash="6ec6fda5caefbcf8fc7ca4adda507e14158c5f33571ebd25ac4f2619fb1594de" dmcf-pid="3K7hdwhDwx" dmcf-ptype="general">에이전틱 AI 활용 과정에서 사람이 관여하는 것처럼 보이지만 실제 AI 의사결정 과정을 누가 확인하고 멈출 수 있는지, 결과에 이의를 제기하고 어떻게 제기할 것인지, 누가 최종 책임을 지는지 등이 불분명한, 사실상 사람이 배제가 되는 'HOTL(Human-on-the-Loop)' 구조가 많다는 게 이유다.</p> <p contents-hash="33d4faae7c41eced4e3f1ab9a366da960cb3ad9115c9a1849b95827fb21a2224" dmcf-pid="09zlJrlwDQ" dmcf-ptype="general">특히 AI가 의사결정 지원을 넘어 일부 자율적으로 작동하는 방향으로 확산되며 기업 내 AI 거버넌스의 허점도 함께 커지고 있다고 진단했다.</p> <p contents-hash="1a632d034bfd7a5eb5b3d8435ba86ace34cd01141c63204a6415caa95bc7d3c3" dmcf-pid="p2qSimSrwP" dmcf-ptype="general">에번 와이어 가트너 시니어 디렉터는 “AI가 의사결정을 내릴 수 있는 정보와 환경을 제공하는 상황이라도 사람이 통제권을 갖지 않은 채 결정만 하면 AI가 결정한 일에 대해 형식적 승인만 하는 것”이라고 평가했다.</p> <p contents-hash="d763d2edb85242fc5f9afdf251f31c42c3e2b1409e8b8fe52903dd9ed278ba7a" dmcf-pid="UVBvnsvmw6" dmcf-ptype="general">이어 “AI 사용 초기에는 사람이 AI 결과를 적극 검증하지만 시간이 지나며 'AI가 대체로 맞다'는 경험을 축적하게 될 것”이라며 “해당 경험을 토대로 사람이 AI가 내놓은 결과값을 충분히 숙고하지 않은 채 승인만 하면 '확인용 절차'로 사실상 요식행위”이라고 비판했다.</p> <p contents-hash="fe85fedbc507f35fe9be3fda3776cde1edc7aac91e7e69d6a961bbc59363ac8f" dmcf-pid="ufbTLOTsO8" dmcf-ptype="general">가트너는 이러한 HITL 착각 문제를 조기에 예방하기 위해 기업 내 AI 사용 정책이나 AI 서비스 가이드라인을 중단 권한, 이의 제기 권한, 책임 주체를 명확히 하는 방향으로 재설계해야 한다고 제안했다.</p> <p contents-hash="381e25b5fa2b2edfbb9c5ae5f8321634aa18e28f4a14779982db9bb2e47cc6c8" dmcf-pid="7HToqRoMI4" dmcf-ptype="general">인간과 AI 협업을 시스템 설계 초기부터 탑재, 사람을 단순 승인자가 아닌 'AI 통찰을 활용하면서도 최종 판단을 유지하는 존재'로 설계해야 한다는 취지다.</p> <p contents-hash="7f06d97c1d48d0c0fcfba4dbfc8d18c989ca97daab0094c4347cd08ee36d6c2d" dmcf-pid="zXygBegRDf" dmcf-ptype="general">또 AI 활용에 따른 '책임 소유'와 관리자를 명확히 하고 AI 결정마다 누가 검토했고 책임자인지, 설명 가능한지 등을 기록해야 한다고 당부했다. AI가 독립적으로 행동할 수 있는 상황을 명확히 규정하고 임직원 판단에 따라 기업 내 AI 결정을 쉽게 중단하거나 수정할 수 있는 프로세스 마련도 촉구했다.</p> <p contents-hash="f70d65a72cf6d1383430defb646bcffa4bb1aedac84bbba1089322924d5722c6" dmcf-pid="qZWabdaeEV" dmcf-ptype="general">문제가 발생할 경우 인간이 실제 관여할 수 있는지, 문제가 생겼을 때 책임자를 얼마나 빨리 특정할 수 있는지, 인간 전문가가 판단 능력을 유지하고 있는지를 점검해야 한다고 강조했다.</p> <p contents-hash="1ee6f64832ee3d8a2921151563756bd39bc1c2ee6422674ec9ed8c47b07448af" dmcf-pid="B5YNKJNdO2" dmcf-ptype="general">박종진 기자 truth@etnews.com</p> </section> </div> <p class="" data-translation="true">Copyright © 전자신문. 무단전재 및 재배포 금지.</p> 관련자료 이전 [속보] '와' 안세영 초대형 뒤집기 드라마! 이게 바로 대한민국! 4:10→17:20→23:21 '기적 같은' 역전승 해냈다…中 천위페이 누르고 인도네시아 오픈 결승행 06-06 다음 '파도에 휩쓸리고 카약 전복되고'…강원 동해안 수난사고 잇따라 06-06 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
