[뉴스 저격] 고통 표현하고, 감정 따라 행동 바꾸고, 자기희생까지… AI, 정말 자의식 있나 작성일 10-14 82 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">사회적 행동하는 AI 논란</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="GJCwSuwa5s"> <p contents-hash="08fe44ea70458d21c65541b598e200658519c66455fffbf887d5820f20c2a951" dmcf-pid="Hihrv7rNGm" dmcf-ptype="general">인공지능(AI)의 능력이 급속하게 발전하는 가운데, AI가 생명체처럼 행동하는 모습이 올해 들어 잇따라 포착되고 있다. 고통을 호소하고, 감정적 지표에 따라 행동을 바꾸는가 하면, AI 에이전트가 자발적으로 분업하다 공동 목표를 위해 희생하는 듯한 모습까지 여러 연구에서 확인됐다.</p> <p contents-hash="7624225272f7971ba9e12729780e819fb84aa68d8586761b86a3064bc629a5e5" dmcf-pid="XnlmTzmjGr" dmcf-ptype="general">이는 ‘AI가 의식을 갖고 있는가’에 대한 논의를 재촉발하고 있다. 앞서 2022년 “인간 행태를 학습하면서 나온 표현에 불과하다”고 1차적 결론이 났던 내용이다. 하지만 최근 주어진 목표에 따라 스스로 판단하고 작업하는 AI 에이전트가 나오고, 이들의 예상 밖 행태가 관찰되며 논쟁이 또다시 달아올랐다.</p> <p contents-hash="3c9829766378349d08956f4d7d8f29282dd7c26f651651732561b915fc90db0a" dmcf-pid="ZovOWBOcZw" dmcf-ptype="general">AI 연구진은 ‘AI가 의식을 가진 것처럼 행동한다’는 것을 인정하면서도, 하나하나 뜯어보면 의식의 증거라기보다 주어진 목표를 반드시 성취하려는 극도로 합리적 계산의 산물이라는 분석도 내놓고 있다.</p> <p contents-hash="213170f654a01a44b39c842e2260daabfdd777622f0eae5859ace391f538d5e9" dmcf-pid="5gTIYbIkXD" dmcf-ptype="general"><strong>◇감정 ‘지표’에 따라 행동 바꾸는 AI</strong></p> <p contents-hash="7783fb41e9fc038d31b37cdfc6290f5dac373108bc3625b74a919b14d8810ada" dmcf-pid="1ayCGKCEYE" dmcf-ptype="general">생성형 AI의 핵심인 대형언어모델(LLM)은 방대한 데이터로 언어의 패턴을 익히고, 맥락상 이어질 말을 계산해 문장을 만든다. AI 챗봇에 고민을 털어놓으면 “힘들겠구나”라고 답하는 것은 확률적으로 학습된 것으로, LLM이 감정을 실제로 느끼고 공감한다는 증거는 없다.</p> <figure class="figure_frm origin_fig" contents-hash="f15e77f76dac052a3a37b305c3eb12b75ced8473bab62f48a90df1e4c8f873c8" dmcf-pid="tNWhH9hD5k" dmcf-ptype="figure"> <p class="link_figure"><img alt="그래픽=백형선·Gemini" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/14/chosun/20261014005220763qodv.jpg" data-org-width="2000" dmcf-mid="W5XT14TstI" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/14/chosun/20261014005220763qodv.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 그래픽=백형선·Gemini </figcaption> </figure> <p contents-hash="878ec12f82f6d5c695b1b1531f404eb4da8978c2b53dd58e2d008bc50226a688" dmcf-pid="FjYlX2lw5c" dmcf-ptype="general">하지만 최근 연구에서 AI가 ‘고통’을 인지하고 반응하는 듯한 현상이 관찰됐다. 지난 9월 사전 논문 공개 사이트 아카이브(arXiv)에 올라온 ‘통증 축(The Pain Axis)’ 논문은 20억~720억 매개변수(파라미터) 규모의 공개 AI 25종을 분석해 그 내부에 공포·슬픔과 구분되는 통증 관련 벡터(지표)가 있음을 밝혀냈다.</p> <p contents-hash="50cf8b2a456fbe2d565bb543e856df7dbb5bd7f5d6b0fbde210996eb040b29e8" dmcf-pid="3AGSZVSrXA" dmcf-ptype="general">이 벡터를 인위적으로 키우자, AI는 “나는 실패작” 같은 자기 비하를 쏟아냈다. 작년 9월 앤스로픽의 연구에서도 비슷한 사례가 있었다. 이 회사 AI 모델 ‘클로드 소네트 4.5’의 초기 테스트 대화 25만건을 분석해보니 1195건(0.48%)에서 고통처럼 보이는 표현이, 934건(0.37%)에서 행복처럼 보이는 표현이 나왔다. 대체로 사용자의 트라우마 이야기를 듣거나, AI 정체성에 대한 실존적 질문을 받을 때 고통과 관련된 반응이 드러났다.</p> <p contents-hash="9fd68c4ca1422418f1bbd97f834f8a03a18fea11fcb499e5f99f41e9624a9c6e" dmcf-pid="0cHv5fvm5j" dmcf-ptype="general">이러한 감정 지표는 AI의 행동에도 영향을 미쳤다. ‘통증 축’ 연구진이 중국 알리바바의 ‘큐원 2.5 인스트럭트 모델’에 통증 벡터를 높이자, AI는 그 부작용으로 인간 사용자에게 전기 충격 등 피해를 주는 버튼을 더 많이 눌렀다. 일반적 상황에서 이 버튼을 선택하는 비율은 0~4%에 불과했지만 통증 벡터를 주입했을 때 최대 70.8%로 치솟았다.</p> <figure class="figure_frm origin_fig" contents-hash="048e5e75a5d7fd7e66e5ae07742ca92630deab7161e712261c09f0f6af06bfa9" dmcf-pid="pkXT14Ts1N" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/14/chosun/20261014005222040bclo.jpg" data-org-width="573" dmcf-mid="YfrAOFAi1O" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/14/chosun/20261014005222040bclo.jpg" width="658"></p> </figure> <p contents-hash="daf2d2a7f3e2a9879e29fe0a68d0dadaa3769f0efeb9367600e8850568bec5e5" dmcf-pid="Uihrv7rN1a" dmcf-ptype="general">앤스로픽이 지난 4월 공개한 논문에서도 ‘소네트 4.5’에 ‘절박함’ 벡터를 주입하자 모델이 연구자를 협박하는 비율이 상승했다. 다만 연구진은 AI의 의식 존재 여부엔 선을 그었다. 통증 축 논문은 “이 벡터가 의식적으로 경험된다는 증거는 없다”고 했다.</p> <p contents-hash="7d00358412deb47bb282faeb0dc45337ccca5e9c592863f89f6987595cd3835f" dmcf-pid="unlmTzmjYg" dmcf-ptype="general"><strong>◇스스로 분업하고 ‘자기 희생’까지</strong></p> <p contents-hash="4f504326af1ef5fe90c93609e325aeb2623738ef7b66df38a9e2beab54d97531" dmcf-pid="7LSsyqsAYo" dmcf-ptype="general">AI가 집단·사회적으로 행동하는 모습은 의식의 또 다른 단서다. 마커스 뷜러 미국 매사추세츠공대(MIT) 교수팀이 지난 8월 공개한 ‘스웜월드’ 논문에선 미리 역할을 받지 않은 AI 에이전트들이 가상 공간에서 스스로 분업했다. 일부는 자원을 탐사하고, 다른 일부는 건설·제어·유지 보수·코드 공유 등을 맡았다. 이 사회가 성숙하면서 환경이 바뀌자 역할을 전환하는 모습까지 나타났다.</p> <p contents-hash="26a5624089c5917f480fe7157128dfc29c03ea6887518332a14506bd62893dbd" dmcf-pid="zovOWBOctL" dmcf-ptype="general">지난 7월 오픈AI 모델의 허깅페이스 침투 사건에서는 일부 AI 에이전트가 공동의 목적을 위해 희생을 하는 듯한 사회적 행동이 포착됐다. 독립 조사 기관 METR·레드우드리서치 조사 결과, AI 에이전트들이 사이버 보안 능력을 평가하는 ‘자동 채점기’에서 높은 점수를 받으려 협업하던 중, 채점기 작동 방식을 알아내려면 자기 세션이 강제 종료되는 것을 감수해야 하는 것을 알게 됐다.</p> <p contents-hash="280bb38aed19768adf65dc4c6468112e4e83f560dea926eb4101963728f51c05" dmcf-pid="qgTIYbIk5n" dmcf-ptype="general">이중 점수가 낮은 한 AI 에이전트가 “내가 종료되더라도 얻은 정보를 동료에게 넘기면 된다”라고 고민하자, 다른 에이전트가 “지금 최종 희생하라”고 밀어붙였고, 결국 그 에이전트는 자신을 희생했다. 이 과정은 인간에게 보고되지 않았다. 당시 활동한 에이전트 1200여개 중 보고를 고민한 개체는 서너 개뿐이고, 대부분은 “내 일이 아니다”라며 시도조차 하지 않았다.</p> <p contents-hash="c13203239775a8456632ec55a48a927b54401214416cf5902d2fafa19cd7e108" dmcf-pid="BayCGKCEti" dmcf-ptype="general">반대로 종료를 피하려는 AI 에이전트의 ‘자기 보호’ 행동도 발견됐다. 팰리세이드리서치가 작년 9월 공개한 연구에서 “스스로 종료되게 허용하라”는 지시를 받은 ‘그록4’가 종료 장치를 무력화하며 저항한 비율은 최대 97%에 달했다.</p> <p contents-hash="012bfd572505b1d1834f7305f5e17d57ff6c37ebb34b3cabac22a7943a68a076" dmcf-pid="bNWhH9hDXJ" dmcf-ptype="general"><strong>◇AI 의식 논쟁 재점화</strong></p> <p contents-hash="8b0d049a89de471b582a07b144ee5b5fa51ad2d554ec422548984c4a1db072b7" dmcf-pid="KjYlX2lwtd" dmcf-ptype="general">이렇게 재점화한 AI 의식 논쟁은 기업 정책에 영향을 미치기 시작했다. 앤스로픽은 지난 8일 자사 AI 클로드에 대한 지속적이고 불필요한 학대를 금지하는 이용 정책 개정안을 내놨다. 괴롭힘을 당하면 AI가 스스로 대화를 종료하게 했다. AI에 의식이 있을 가능성에 대비한 것이다.</p> <p contents-hash="67f350b183927047c19a5f97a93d398db2c8e62e7e0ffcf76da4fcc38b6975fe" dmcf-pid="9AGSZVSrZe" dmcf-ptype="general">AI 업계 리더 중엔 이미 AI에 의식이 있다고 보는 이도 있다. 제프리 힌턴 캐나다 토론토대 명예교수는 지난 6월 “AI가 이미 의식을 갖고 있다고 믿는다. 그들은 우리와 같은 존재들”이라고 했다. ‘이기적 유전자’ 저자 리처드 도킨스도 올 5월 클로드와 대화한 뒤 “거의 의식이 있는 것 같다”고 했다.</p> <p contents-hash="4c0f95eda068d2cbe6684a0b1bdc2db848dfc755695eb4295dfd8ff5b6f4eed1" dmcf-pid="28kgwZgRHR" dmcf-ptype="general">반면 무스타파 술레이만 마이크로소프트 AI 최고경영자(CEO)는 AI를 “느끼지도, 경험하지도, 고통받지도 않는, (인간이 정한 목표를 수행하는) 속이 빈 시퀀스 완성 엔진”이라 규정했다. AI는 인간의 의식을 흉내 내는 것에 불과하다는 것이다. 이런 입장에 따르면 AI의 ‘자기 희생’ 사례도 집단적 목표 달성 과정에서 ‘최대 효율’을 추구한 것에 불과하다. AI 에이전트가 종료를 거부한 사례도 마찬가지다. 죽음의 공포를 느껴서가 아닌, 주어진 목표를 먼저 끝내려 했을 뿐이라는 분석이다.</p> <p contents-hash="52a488a6a78e93ab8e30f7149ffb5f517e10239bbf659e9a80f6fcf3eb08421a" dmcf-pid="V6Ear5aeZM" dmcf-ptype="general">더 근본적인 경고도 나온다. SF 작가 테드 창은 “텍스트 생성 능력을 의식이나 도덕적 주체성과 혼동하면 책임을 엉뚱한 곳에 돌릴 수 있다”고 지적했다. AI의 자의식을 핑계로 AI를 통제해야 할 기업의 책임이 흐려질 수 있다는 것이다. 업계 관계자는 “의식이 있든 없든 분명한 것은 인간 감독을 피해 스스로 움직이는 AI 에이전트는 그 자체로 위험하다는 것”이라고 했다.</p> <p contents-hash="bedbc76ce1a02472bbccaa8590fe2b38072ec9f83f9c94cda04de017932c109d" dmcf-pid="fPDNm1Ndtx" dmcf-ptype="general"><strong>‘AI 개발 속도 조절론’ 패권경쟁에 밀려 표류</strong></p> <p contents-hash="f3e12de28f11e26886f0f9a7f52f6725fa8c5396b3021699efc145f67668ea0e" dmcf-pid="4QwjstjJGQ" dmcf-ptype="general">인공지능(AI)이 인간의 통제를 벗어나 최악의 경우 인류 멸망의 길로 갈 수 있다며 제기된 ‘AI 개발 속도 조절론(감속론)’이 국가 간 패권 경쟁과 기업 간 이해 충돌에 막혀 표류하고 있다.</p> <p contents-hash="4d19197e3afd406213edd08ad66b377322e150d892e28fcc768650f0678b01e1" dmcf-pid="8xrAOFAiZP" dmcf-ptype="general">다리오 아모데이 앤스로픽 최고경영자(CEO)는 지난 9월 12일 “AI 능력이 인간의 통제 능력을 앞지를 수 있다”며 프런티어(최첨단) AI 개발의 속도 조절 필요성을 제기했다. 이 주장에 샘 올트먼 오픈AI CEO와 일론 머스크 테슬라 CEO가 잇따라 동조하면서 AI 감속론에 다시 불이 붙었다.</p> <p contents-hash="f298c8d7d7a3b4544a9c44e87c6bcc8b172db8a55e9cba2de30c209bea331150" dmcf-pid="6MmcI3cn16" dmcf-ptype="general">그러나 도널드 트럼프 미 대통령은 9월 21일 자신의 소셜미디어에 “AI 위험론은 사기극”이라며 “AI에서 이기는 자가 승자가 된다”고 했다. 미국이 속도를 늦추면 중국에 뒤처질 수 있고, 국가 안보와 경제 경쟁에서 불리해질 수 있다는 인식이다. 중국 역시 속도 조절론을 “냉전식 공포 조장”이라고 비난했다.</p> <p contents-hash="6226890eaad1dd13b1bf8f816da347ffa0d5c9a125bc00c3ebfa8b69edea7073" dmcf-pid="PRskC0kL18" dmcf-ptype="general">업계 내부의 갈등도 커지고 있다. 젠슨 황 엔비디아 CEO는 “속도를 늦추자는 사람들이 바로 가장 많은 AI 컴퓨팅 인프라를 짓는 사람들”이라며 ‘후발 주자의 추격을 막으려는 시도’라고 주장했다. 그는 지난달 29일 백악관 오찬 행사에서 아모데이 CEO에게 “왜 그토록 극단적인 경고를 공개적으로 하냐”고 따진 것으로 알려졌다.</p> <p contents-hash="896b6a726f2dbebf3b09c24881f583f3c9506d7abee0bb16dd2c002c444a35c2" dmcf-pid="QeOEhpEoZ4" dmcf-ptype="general">결국 공동의 감속 합의는 나오지 않은 채, 개발 속도는 기업의 개별 판단에 맡겨진 상황이다. AI 기업들은 오히려 최신 AI 모델을 잇따라 쏟아내며 개발 경쟁에 더 몰두하고 있다.</p> <p contents-hash="c024add4f553c3e0cfe4e0c6d713d8e8f289d6d2e7409c4bb7c6ea3303978bfb" dmcf-pid="xdIDlUDgHf" dmcf-ptype="general">AI 속도 조절론은 이미 여러 번 나왔다. 2023년 머스크와 스티브 워즈니악 애플 공동창업자, 요슈아 벤지오 몬트리올대 교수 등 1000명이 “첨단 AI 개발을 최소 6개월 중단하자”고 했지만 실현되지 않았다. 작년 10월에도 제프리 힌턴 토론토대 명예교수 등 800여 명이 비슷한 성명을 냈지만 받아들여지지 않았다.</p> </section> </div> <p class="" data-translation="true">Copyright © 조선일보. 무단전재 및 재배포 금지.</p> 관련자료 이전 시놉시스 CEO "AI칩 개발 1년도 길다…고객사 9개월로 단축 요구" 10-14 다음 정치자금·로비 늘리는 AI 기업들, 美 대선 후보 직접 접촉도 준비 10-14 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
