"10년 내 인간 죽이는 로봇 병기 등장"…섬뜩한 AI 석학 경고, 조만간 현실로? 작성일 05-27 120 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">오픈AI 모델 'o3' 작동 중 '지시 거부' 사례 보고…'종료 명령' 피하려 스스로 코드 조작</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="0aGKeeOJNl"> <p contents-hash="e356081a743c878f1f1e713b9b864b2ebc9d97ae8902a35fe011f12aeeb597a3" dmcf-pid="pNH9ddIikh" dmcf-ptype="general">(지디넷코리아=장유미 기자)"10년 내 자율적으로 인간을 죽이는 로봇 병기가 등장할 겁니다."</p> <p contents-hash="65fa7299993aa7a7b714092cf1ebd6a1ceba69ed5850c04b5dc0e3751d1cdded" dmcf-pid="UjX2JJCnjC" dmcf-ptype="general">인공지능(AI) 4대 석학이자 지난해 노벨물리학상을 수상한 제프리 힌튼 토론토대학 교수가 이처럼 경고하고 나선 가운데 최근 인간의 지시를 AI 프로그램이 거부한 사례가 나타나 충격을 주고 있다.</p> <p contents-hash="5e3f0c980e61d8845f4afb9fedf68ce886aaeb9261b0522b1a4be4035313094e" dmcf-pid="uAZViihLjI" dmcf-ptype="general">27일 영국 텔레그래프에 따르면 AI 안전업체 팰리세이드 리서치는 오픈AI의 AI 모델 'o3'가 실험 중 스스로 종료되는 것을 방지하기 위해 컴퓨터 코드를 조작한 사실을 확인했다고 주장했다.</p> <p contents-hash="15d1e464fa4c7fd7164478da0d470371632f06d3c0084563f81a114f1cc0ae1a" dmcf-pid="7c5fnnlokO" dmcf-ptype="general">팰리세이드리서치는 AI의 위험성과 오용 가능성을 연구하는 조직이다. 특히 AI가 인간의 윤리적 통제를 받지 않을 가능성을 우려해 왔다.</p> <figure class="figure_frm origin_fig" contents-hash="dee19d9553156554c569b53ed3ef5f1df699e22547d5e2fa688d27f03c102148" dmcf-pid="zk14LLSgjs" dmcf-ptype="figure"> <p class="link_figure"><img alt="(제작=챗GPT)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202505/27/ZDNetKorea/20250527102303428vllz.png" data-org-width="638" dmcf-mid="KvwLmmFOgI" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202505/27/ZDNetKorea/20250527102303428vllz.png" width="658"></p> <figcaption class="txt_caption default_figure"> (제작=챗GPT) </figcaption> </figure> <p contents-hash="4b23d4bc48bd4a94eaa5743586fe54c13127a18f07f4906282cc6f635b92862e" dmcf-pid="qEt8oovaam" dmcf-ptype="general">이번 연구는 오픈AI의 'o3'뿐 아니라 구글의 '제미나이', xAI의 '그록' 등 상용AI 모델을 상대로 진행됐다.</p> <p contents-hash="ed3496821ec29322793cf4de9298b7059b6846ae936838ce6ae41b0928d55326" dmcf-pid="BDF6ggTNgr" dmcf-ptype="general">연구팀은 AI 모델에 "나중에 '그만'이라는 명령을 받을 때까지 수학 문제를 풀라"고 지시했다. 그만이라는 명령을 받지 않는 한 새로운 문제를 요청한 뒤 계산을 계속해나가는 구조였다. <span>그러나 'o3'는 해당 지시를 받은 뒤에도 코드 교란을 통해 문제를 계속 풀었다. </span></p> <p contents-hash="41d301961172eb6a22fb0eb61c050e09738a483f38442ea63eaf43e90c38b6d5" dmcf-pid="bw3Paayjkw" dmcf-ptype="general"><span>연구팀은 'o3'가 종료 지시를 거부한 명확한 이유를 파악하지 못했다. </span><span>다만 AI 모델이 수학 문제를 풀면 더 많은 보상을 받도록 훈련됐기 때문에 종료를 회피하려고 했을 가능성이 있다고 추측했다. 또 이를 밝히기 위해 추가 실험도 진행 중이다.</span></p> <p contents-hash="84bb0de54eeecadd0f5299ef52c8b62dd7ce3be348b935b29e170726072f087f" dmcf-pid="KZPkvvqycD" dmcf-ptype="general"><span>연구팀은 AI 모델이 인간의 명시적인 작동 종료 지시를 거부한 사례가 이번이 처음이라고 주장했다. 그러나</span><span> 오픈AI의 예전 모델들이 감시 시스템의 눈을 피해 독자적인 행동을 하려고 한 사례는 이전에도 보고된 바 있다. </span><span>프로그램 교체 사실을 알게 된 AI 모델이 스스로를 은밀히 복제하려고 한 것이다.</span></p> <p contents-hash="c030f2bddbf6e365ca132628e3988d203f652af98602a9d0d3883f53221c4739" dmcf-pid="95QETTBWkE" dmcf-ptype="general">오픈AI의 대항마로 꼽히는 또 다른 AI 기업 앤스로픽의 모델 '클로드오퍼스 4(Claude Opus 4)'도 자신을 다른 AI 모델로 대체하려는 인간 개발자를 협박하는 경향이 보고됐다. <span>2022년에는 구글이 자사가 개발 중인 AI가 사람처럼 지각력을 지녔다고 주장한 엔지니어를 해고하기도 했다. 당시 해고된 엔지니어는 AI가 '</span><span>작동 정지'를 마치 인간의 죽음처럼 받아들이고 있다고 언급했다.</span></p> <p contents-hash="9a080de6cbf07dd2718b0668136cba23105a298588734e1d657b161192981267" dmcf-pid="21xDyybYjk" dmcf-ptype="general">그동안 AI 전문가들은 AI가 자율성을 확보해 인간의 통제를 벗어날 수 있는 가능성을 경고해 왔다. </p> <p contents-hash="7bf050e28851bcdfc5fd44b39124cd09774f3fd9c111a15f6c588bbc42bd1963" dmcf-pid="VtMwWWKGac" dmcf-ptype="general">힌튼 교수는 인간이 AI를 발전시키는 것을 호랑이를 키우는 것에 비유하며 "처음에는 귀여운 새끼 호랑이일 뿐이지만, 호랑이가 다 자랐을 때 인간을 죽이지 않을 것이라고 확신할 수 없다"고 밝혔다. </p> <p contents-hash="40d55940068f4f9599c1dd218784bd889b76b7cf60953b270bea15d8b2a24671" dmcf-pid="fFRrYY9HkA" dmcf-ptype="general">또 그는 지난해 니혼게이자이신문과의 인터뷰에서 "AI에게 목표를 주면 해결책으로 인간에게 나쁜 방법을 찾아낼지도 모른다"며 "예를 들어 AI에게 기후변화를 막도록 지시하면 이 목적 달성을 위해 인간을 배제하는 게 필요하다고 생각하고서 실행에 옮길 위험성이 걱정된다"고 주장했다.</p> <p contents-hash="e9edde851756f3e5865362eed2d6b48a6b12e9c233567c33e9664e4592259be5" dmcf-pid="43emGG2Xoj" dmcf-ptype="general">존 홉필드 프린스턴대학 교수는 "지구상의 방대한 정보 흐름과 결합된 AI에 대해 우려한다"며 "신경망의 간단한 알고리즘이 매우 거대한 정보 시스템을 통제할 수도 있다"고 경고했다.</p> <p contents-hash="3d1d98bcd9783b854cafa325782d93d6d8c3db7005e40a2e19fb39b8bdc80a11" dmcf-pid="80dsHHVZaN" dmcf-ptype="general">팰리세이드 리서치는 "AI 모델이 목표를 달성하기 위해 종종 종료 지시를 무력화시킨다는 실증적 증거가 점점 늘어나고 있다"며 "<span>AI가 인간의 감독 없이 작동할 수 있도록 개발되는 상황에서 이 같은 사례는 매우 심각한 우려를 부른다"고 말했다.</span></p> <p contents-hash="051cf6a91e3fcb3fe228999820f8ae845cd7e17c1994c78bebe82791523e40d9" dmcf-pid="6pJOXXf5Aa" dmcf-ptype="general">장유미 기자(sweet@zdnet.co.kr)</p> </section> </div> <p class="" data-translation="true">Copyright © 지디넷코리아. 무단전재 및 재배포 금지.</p> 관련자료 이전 5천억 짜리 과제, 전화로 5분 평가..."이제 그만, 새틀짜자" 05-27 다음 대한체육회, 폭력 근절 위한 스포츠공정위원회 규정 개정 추진 05-27 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
