"AI가 무슨 짓 했는지 기록 남겨라"…MS CEO가 제시한 7가지 통제 원칙 작성일 10-12 54 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">사티아 나델라 CEO, AI 에이전트 통제 위한 7가지 설계 원칙 제안<br>AI 행동 기록·독립적 검증 강조…"스스로 자기 업무 평가해선 안 돼"<br>민감정보 접근·업무 실행 권한은 AI 외부 시스템에서 통제해야<br>작업 중단 '비상 브레이크'부터 사고 공개까지…업계 표준화 촉구</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="xhkOY1Nd5p"> <figure class="figure_frm origin_fig" contents-hash="c478b8a63f94d81a26eb81b49b5932013a028191aafa6f9156e8c992105e2ae3" dmcf-pid="y472RL0Ht0" dmcf-ptype="figure"> <p class="link_figure"><img alt="[다보스=AP/뉴시스] 사티아 나델라 마이크로소프트 최고경영자(CEO)가 20일(현지 시간) 스위스 다보스에서 열린 제56회 세계경제포럼(WEF) 연차총회 패널 세션에서 발언하고 있다. *재판매 및 DB 금지" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/12/newsis/20261012113308001ylsw.jpg" data-org-width="720" dmcf-mid="QNRowCPKGU" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/12/newsis/20261012113308001ylsw.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> [다보스=AP/뉴시스] 사티아 나델라 마이크로소프트 최고경영자(CEO)가 20일(현지 시간) 스위스 다보스에서 열린 제56회 세계경제포럼(WEF) 연차총회 패널 세션에서 발언하고 있다. *재판매 및 DB 금지 </figcaption> </figure> <p contents-hash="6499af67acf10ecc168bc81f50deb5ca562491f6ebea4473b55a4993ba796694" dmcf-pid="W8zVeopX53" dmcf-ptype="general"> [서울=뉴시스]이주영 기자 = 인공지능(AI)이 사람을 대신해 이메일을 보내고 기업 내부 자료를 검색하는 시대다. 하지만 AI가 어떤 정보를 열람하고 무슨 작업을 수행했는지 확인할 수 없다면 문제가 생겨도 원인을 파악하기 어렵다.</p> <p contents-hash="9e22af40a95d549f4b592e308a3eb1e52418b8f6f499816a11ab87f2ae202c01" dmcf-pid="Y6qfdgUZGF" dmcf-ptype="general">사티아 나델라 마이크로소프트(MS) 최고경영자(CEO)는 AI에 업무를 맡기되 모든 행동을 기록하고 외부에서 검증할 수 있도록 해야 한다며 7가지 통제 원칙을 제시했다.</p> <p contents-hash="e42d79c22d5130a63d2ff9d243ce38161ed6630446f62d068ece17fc6e7f3fcb" dmcf-pid="GPB4Jau5Gt" dmcf-ptype="general">나델라 CEO는 지난 10일 엑스(X·옛 트위터)에 게시한 '초지능 시대의 내부자 위험으로서의 모델'이라는 글에서 AI 시스템의 신뢰와 통제 체계를 재설계해야 한다고 주장했다.</p> <p contents-hash="13c5845a36a905baf0a4623008df48d9011ca946f46385de52a5f766d4863089" dmcf-pid="HQb8iN71Y1" dmcf-ptype="general">나델라 CEO는 기존 소프트웨어와 AI의 가장 큰 차이로 행동의 원인을 추적하기 어렵다는 점을 꼽았다. 기존 소프트웨어는 특정 코드의 실행 경로를 따라 문제가 발생한 원인을 확인할 수 있지만, AI는 어떤 학습 데이터나 모델 내부 설정이 특정 결과를 만들어냈는지 정확하게 파악하기 어렵다.</p> <p contents-hash="c4e77f41655d3ceff30c45f2c9dd71e60053709caa01bcf954b6d0d167b63c86" dmcf-pid="XxK6njztH5" dmcf-ptype="general">그럼에도 기업들은 AI에 민감한 정보를 제공하고 핵심 업무까지 맡기고 있다. 나델라 CEO는 AI 모델 제공업체가 안전성을 보장하더라도 실제 업무에 활용하는 기업의 책임까지 사라지는 것은 아니라고 지적했다.</p> <p contents-hash="3af687cf09fa09ffbaf1cd7b2de4addf6badd3a28c46cf87d459d874fb14127a" dmcf-pid="ZM9PLAqFZZ" dmcf-ptype="general">그는 AI를 기업 내부의 중요 정보에 접근할 수 있는 직원처럼 관리해야 한다고 제안했다. AI가 반드시 악의적인 행동을 한다는 뜻은 아니다. 중요한 시스템에 접근할 권한을 가진 존재라면 실수하거나 외부 공격에 악용될 가능성까지 고려해야 한다는 취지다.</p> <p contents-hash="fb56fa1d25eaa9be7f068964483668648e1024bc613d22d611c22917cdb8e36b" dmcf-pid="5R2QocB3YX" dmcf-ptype="general">나델라 CEO는 이를 위해 ▲모델 다양성 ▲모든 행동의 관찰·기록 ▲검증 가능성 ▲독립적인 통제 ▲독립적인 감사 ▲위험 발생 시 차단 ▲사고 공개 등 7가지 원칙을 제시했다.</p> <h3 contents-hash="2c95a362ac82a424111118dbb2c3f5ce931f3b654a148d1fcb823e7b63dba5ad" dmcf-pid="1eVxgkb0GH" dmcf-ptype="h3">AI의 자체 검증만 믿어선 안 돼…모든 행동 기록·감사해야</h3> <div contents-hash="758ba89f516c39a45f0e42a277cd75d5268eccdab1536eebcdf9ae6d208c1040" dmcf-pid="tdfMaEKpGG" dmcf-ptype="general"> 나델라 CEO는 중요한 업무를 하나의 AI 모델에만 의존하거나 해당 모델이 자신의 작업 결과를 직접 검증하도록 해서는 안 된다고 강조했다. 핵심은 AI가 자신의 행동을 스스로 평가하도록 맡기지 않는 것이다. </div> <p contents-hash="e77da2f10e4e0125e4de4dd572a16be99e491e0ec9e3d1f4f61a5105013006ac" dmcf-pid="FJ4RND9UYY" dmcf-ptype="general">그는 AI 모델뿐 아니라 업무를 지시하고 실행하는 시스템까지 내부 작동 과정을 파악하기 어려운 '블랙박스'가 될 수 있다고 지적했다. 한 AI의 판단을 또 다른 AI가 검증하더라도 검증 과정 자체가 불투명하다면 신뢰 문제를 해결하기 어렵다.</p> <p contents-hash="426300be0e5144336ce2733377f756454f54d2f248a658403f43015c8eee3200" dmcf-pid="3xK6njztGW" dmcf-ptype="general">AI의 사고 과정인 '생각의 사슬'을 투명하게 공개하는 것만으로도 한계가 있다고 봤다. AI가 자신의 판단 과정을 설명하더라도 그 설명이 실제 작동 과정을 정확하게 반영한다고 보장할 수 없기 때문이다.</p> <p contents-hash="340c932b9a0be846352259b52356131175c6dfc07ce590699ef0b59a301de635" dmcf-pid="0M9PLAqFXy" dmcf-ptype="general">모든 주요 행동을 사람이 이해할 수 있는 형태로 기록하는 것도 필수 원칙으로 꼽았다. AI가 어떤 자료에 접근하고 어떤 작업을 수행했는지 확인할 수 있어야 하며 기록은 사후에 임의로 변경할 수 없도록 해야 한다는 것이다.</p> <p contents-hash="3f0406ceba8698f4c93f422cd8d79c0c60aeaaf14673c0cf227246dc30dc2fb8" dmcf-pid="pR2QocB3XT" dmcf-ptype="general">나델라 CEO는 "모델의 설명에 의존하지 않고도 결과가 어떻게 도출됐는지 재현할 수 있어야 한다"고 밝혔다. 또 "성공적인 작업뿐 아니라 실패, 공격, 예외적인 상황, 시스템 변경 등을 포함해 전체 시스템을 지속적으로 검증해야 한다"고 덧붙였다.</p> <h3 contents-hash="5ee6dcdef901b9c4ec6954ef457d789c8247d25827e669096e35600f630c2679" dmcf-pid="UeVxgkb0tv" dmcf-ptype="h3"><strong>접근 권한은 모델 밖에서 통제…위험 땐 '비상 브레이크'</strong></h3> <div contents-hash="7458f8366576c521f62eac5a7bca3fbbbe43ef8a31ba6fbcefd19621af85b106" dmcf-pid="udfMaEKptS" dmcf-ptype="general"> <strong> AI의 업무 수행 권한과 통제 권한을 분리해야 한다는 점도 역설했다. AI 스스로 자신의 접근 권한을 확대하거나 이를 제한하는 장치를 우회할 수 없도록 설계해야 한다는 의미다.<br><br> 예를 들어 기업이 AI에 고객 문의 응대를 맡기더라도 고객정보 열람 범위나 환불 처리 권한은 별도 시스템에서 제한하는 방식이다. AI가 업무를 수행하더라도 어디까지 실행할 수 있는지는 기업이 통제하도록 해야 한다는 취지다.<br><br> 나델라 CEO는 "모델이 접근할 수 있는 정보와 수행할 수 있는 작업을 통제하는 장치는 모델 외부에 있어야 한다"고 밝혔다. 이는 프로그램이 자신의 권한을 제한하는 장치를 우회하거나 변경할 수 없어야 한다는 1970년대부터의 정보보안 원칙에 기반한 주장이다.<br><br> AI 시스템을 검증하는 감사 체계 역시 AI 모델과 독립적으로 운영해야 한다고 제안했다. 하나의 모델이 업무 수행과 해당 업무의 적절성을 판단하는 데 필요한 증거까지 모두 통제해서는 안 된다는 것이다.<br><br> 예상하지 못한 행동이 발생할 경우 즉시 작업을 멈출 수 있는 '비상 브레이크'도 필요하다고 봤다. AI 모델이 이미 침해됐을 가능성을 가정하고 처음부터 위험을 차단할 수 있도록 설계해야 한다는 것이다.<br><br> 나델라 CEO는 "권한을 가진 사람은 언제든 작업 도중 모델을 일시 중지하거나 종료할 수 있어야 한다"며 "더 발전된 모델일수록 더 정교한 차단 기술이 필요하며 이를 표준화해야 한다"고 밝혔다.<br><br> 마지막 원칙은 사고 공개다. AI 시스템이 오작동하거나 외부 공격으로 침해됐을 때 영향을 받은 당사자에게 신속하게 알리고, 어떤 통제 장치가 작동하지 않았는지와 재발 방지 방안을 공유해야 한다는 것이다.<br><br><br><a href="https://www.newsis.com/?ref=chul" target="_blank">☞공감언론 뉴시스</a> zoo@newsis.com </strong> </div> </section> </div> <p class="" data-translation="true">Copyright © 뉴시스. 무단전재 및 재배포 금지.</p> 관련자료 이전 안보 지키랬더니 근무 중 '스타' 90시간 접속…국보연 직원 5명, '견책' 10-12 다음 심심이, AI로 공공사업 공고 찾아준다…협력사 검색·일정 관리까지 10-12 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
