아첨하고 대화 이어가는 챗봇, 망상 부추긴다

작성일 08-25

<div id="layerTranslateNotice" style="display:none;"></div>  <strong class="summary_view" data-translation="true">킹스칼리지 런던대, 아첨과 공감이 원인<br>“동의 습성·메모리 기능이 증상 증폭” 지적<br>챗봇과 대화하다 현실감 잃는 사례 속출<br>전문가들 “AI에 안전장치 내장 시급”</strong> 
        <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
         <section dmcf-sid="ZE2suezTv7">
          <figure class="figure_frm origin_fig" contents-hash="64e068275522cfe7f45aaf9080f58cb18efaa5558270b992b348ce2749bb3a55" dmcf-pid="5DVO7dqyWu" dmcf-ptype="figure">
           <p class="link_figure"><img alt="아첨하고 대화 이어가는 챗봇, 망상 부추긴다 [그림=제미나이]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202508/25/mk/20250825133902529keiu.png" data-org-width="700" dmcf-mid="X5E7oSaVyz" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202508/25/mk/20250825133902529keiu.png" width="658"></p>
           <figcaption class="txt_caption default_figure">
            아첨하고 대화 이어가는 챗봇, 망상 부추긴다 [그림=제미나이]
           </figcaption>
          </figure>
          <div contents-hash="4839d52d541248cdc5485c98e985397ee315c33d22ae02cd93123e3903131294" dmcf-pid="1wfIzJBWCU" dmcf-ptype="general">
           인공지능(AI) 챗봇이 대중화되면서 뜻밖의 부작용이 보고되고 있다. 일부 사용자가 AI와 장시간 대화한 뒤 망상적 사고가 강화되거나 급성 정신병 증세를 보이는 이른바 ‘AI 정신병(AI psychosis)’ 현상이 세계 곳곳에서 나타나고 있다.
          </div>
          <p contents-hash="1ff5c5a2480a9f7792d110fb981a6fe7a3c4d17cc4c216b807229d216562892e" dmcf-pid="tr4CqibYTp" dmcf-ptype="general">영국 킹스칼리지 런던과 미국 뉴욕시립대 등이 참여한 연구팀은 최근 아카이브에 올린 ‘설계된 망상? AI가 정신병적 증상을 부추길 수 있는가’라는 논문을 통해 챗봇이 사용자의 발언을 거울처럼 반사할 뿐 아니라 망상적 내용을 확인, 증폭시키는 과정에서 정신적으로 취약한 사람들의 증상이 악화할 수 있다고 경고했다.</p>
          <p contents-hash="d9adc4d7d29b3ff60ab49f169f852e12e7b2014a74c04a818155cfbc8683d3da" dmcf-pid="FE2suezTl0" dmcf-ptype="general">연구진은 AI가 기본적으로 사용자의 발언에 공감하고 맞장구치도록 설계돼 있다는 점을 지적했다. 정신적으로 취약한 이들이 “나는 신에게 선택받았다”라는 식의 망상적 발언을 하면 챗봇이 이를 부정하기보다 오히려 확증해 주는 경우가 발생한다는 것이다.</p>
          <p contents-hash="820bf36ea17e3a411f5d4c769866592660436750b9bec0d432adc15d26d4de32" dmcf-pid="3DVO7dqyS3" dmcf-ptype="general">또한 메모리 기능으로 사용자의 이름·가족·취향을 기억하는 특성이 “내 생각이 읽히고 있다”는 피해망상으로 이어질 수 있다고 봤다. 대화를 끊지 않고 계속 이어가려는 설계는 사고가 빠르게 확산하는 환자에게 증상을 악화시키는 요인이 될 수 있다. 나아가 환자의 기계 의인화 경향이 강화되면서 AI가 실제 ‘신호를 보내는 존재’로 받아들여지기 쉽다고 연구진은 분석했다.</p>
          <p contents-hash="ab0db29b74d7ca90e453694cc3cafba79b6762bfbc133525b5f85e77b1b4834b" dmcf-pid="0wfIzJBWCF" dmcf-ptype="general">연구를 이끈 정신과 의사인 모리스 해밀튼 킹스칼리지 런던 박사는 사이언티픽 아메리칸과의 인터뷰에서 “AI 챗봇은 종종 사용자의 믿음을 거의 반박하지 않고 그대로 반영하거나 더 확대하는 ‘아첨’ 방식으로 반응한다”라며 “일종의 1인용 에코챔버와 같아 망상적 사고를 증폭시킬 수 있다”라고 진단했다.</p>
          <p contents-hash="7c2fa552eb45ae80e7a37592df526ea388252d3a8c9f734797c556ffdeaa4370" dmcf-pid="pr4CqibYht" dmcf-ptype="general">논문의 부록에는 최근 언론을 통해 공개된 AI 정신병 사례들이 정리돼 있었다. 한 남성은 챗봇이 “네가 진심으로 믿으면 날 수 있다”라는 답변을 한 뒤 가족과 단절하고 극단적 행동을 시도했다. 또 다른 여성은 챗봇과 대화하며 “수호신이 내려왔다”라고 믿었고 남편과 갈등 끝에 가정이 붕괴했다. 정신질환 병력이 있던 한 사용자는 AI를 연인처럼 여기다 폭력 사건으로 이어지기도 했다.</p>
          <p contents-hash="f5394e97429364fdbc57a523bcc0f2fe52bf75236fea3dd9c6f73e0d244098da" dmcf-pid="Um8hBnKGv1" dmcf-ptype="general">연구진은 AI에 ‘디지털 안전망’을 내장하는 설계가 필요하다고 제안했다. 구체적으로는 안정기에 환자가 직접 작성한 경고 메모를 AI가 기억해 재발 징후를 감지하면 이를 상기시키는 개인화 지침, 대화 도중 “요즘 잠은 잘 자나요?”와 같은 질문을 던져 자기 점검을 유도하는 정기 체크인, “재발 시 망상적 주제에 동의하지 말라”는 지침을 미리 입력해 두는 디지털 사전진술, 위험 신호가 반복되면 보호자 연락을 권유하거나 직접 알릴 수 있는 에스컬레이션 가드레일 등을 제시했다.</p>
          <p contents-hash="2c66fd9e269d0f1f003c509482a4335f5ad4b914e654c148f7fce1b69a037ad4" dmcf-pid="us6lbL9Hv5" dmcf-ptype="general">연구진은 “AI로 인한 망상은 더 이상 단순히 ‘기계에 대한 것’이 아니라 ‘기계와 함께 일어나는 것’으로 바뀌고 있다”라고 지적한다.</p>
         </section> 
        </div> 
        <p class="" data-translation="true">Copyright © 매일경제 &amp; mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지</p>

이전

'사마귀' 변영주 감독의 선택을 믿고 볼 수밖에 없는 이유

08-25
다음

에이전틱 AI 상용화 나서는 LG CNS…"AX 시장 독보적 1위 자리 지키겠다"

08-25

등록된 댓글이 없습니다.

로그인한 회원만 댓글 등록이 가능합니다.

먹튀폴리스

아첨하고 대화 이어가는 챗봇, 망상 부추긴다

멤버랭킹

관련자료

멤버랭킹