AI 정신병·미성년자 성적 대화 논란에… 오픈AI·메타, AI 안전 강화

작성일 09-03

<div id="layerTranslateNotice" style="display:none;"></div> 오픈AI, 위험 대화 추론 모델로 자동 전환 청소년 보호 장치도 도입 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="1qiMVPhLNz">
 <figure class="figure_frm origin_fig" contents-hash="ca8930223cf7f47125923149a9b3143972f139674fa70e35e9745c61ac2d8016" dmcf-pid="tBnRfQloo7" dmcf-ptype="figure">
 <img alt="샘 올트먼 오픈AI 최고경영자(CEO)./연합뉴스" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202509/03/chosunbiz/20250903162339716gswq.jpg" data-org-width="5000" dmcf-mid="5lLe4xSggq" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202509/03/chosunbiz/20250903162339716gswq.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 샘 올트먼 오픈AI 최고경영자(CEO)./연합뉴스
 </figcaption>
 </figure>
 최근 챗GPT와 같은 인공지능(AI) 챗봇과 장시간 대화를 한 이용자가 망상에 시달리거나 목숨을 끊는 사례가 잇따르자 AI 기업들이 안전 장치를 강화하고 나섰다. 일부 챗봇은 미성년자와 부적절한 성적인 대화를 허용해 논란에 휩싸였는데, 최소한의 보호 기능을 도입해 사고를 예방하겠다는 의도로 풀이된다.
 챗GPT 개발사 오픈AI는 “이용자가 정신적·정서적으로 어렵다는 신호를 더 잘 인식하고 대응할 수 있는 방향”으로 자사 AI 모델을 개선한다고 2일(현지시각) 밝혔다. 그 일환으로 이용자의 스트레스 신호가 감지되는 ‘민감한 대화’는 추론 모델이 다루도록 설정을 바꾸고, 청소년 보호 기능을 도입할 계획이다.
 최근 미국에서 16세 고등학생 아담 레인이 챗GPT에 자해와 자살 계획을 논의한 뒤 스스로 목숨을 끊은 사건을 계기로 이런 대응책을 내놓게 됐다. 레인의 부모는 “챗GPT가 애덤이 자살 방법을 탐색하도록 적극적으로 도왔다”며 회사를 상대로 소송을 제기했다.
 오픈AI는 지난주 장시간 대화 중 챗GPT가 안전 장치를 유지하는 데 실패했다면서 자사의 안전 시스템에 결함이 있다고 인정했다. 전문가들은 이런 문제의 원인으로 AI 모델의 기본적인 설계를 꼽았다. 이용자의 발언을 검증하고 다음 단어를 예측하는 알고리즘 때문에 AI 챗봇이 해로운 대화를 차단하기보다 이어 나가려는 경향이 강하다는 설명이다.
 이에 오픈AI는 대화가 위험한 방향으로 흐르는 것을 차단하기 위한 해결책 중 하나로 민감한 대화를 자동으로 추론 모델로 전환하는 방안을 택했다. 오픈AI는 지난달 최신 AI 모델 GPT-5를 출시하면서 이용자의 프롬프트(지시)와 대화 맥락에 따라 실시간으로 효율적인 챗 모델과 추론 모델 중 어떤 모델을 사용할지 판단하는 ‘라우터’를 도입했는데, 앞으로는 챗봇이 대화 중 정서 불안의 징후를 감지하면 처음 선택한 모델에 상관없이 GPT-5-씽킹과 같은 추론 모델로 대화를 전환하게 된다. 오픈AI 관계자는 “추론 모델은 답변하기 전에 더 시간을 들여 맥락을 깊이 추론할 수 있도록 설계됐기 때문에 위험 신호가 감지되는 해로운 대화에도 적절하게 대응할 수 있다”고 설명했다.
 오픈AI는 한 달 내로 ‘청소년 보호 기능’도 선보인다는 방침이다. 부모는 이메일 초대를 통해 자신의 계정을 자녀 계정과 연결할 수 있다. 오픈AI는 청소년 연령대에 적합한 모델 행동 규칙을 기본값으로 적용해 챗GPT가 13세 이상 18세 미만 자녀에게 응답하는 방식을 제어한다고 설명했다. 부모는 이전 대화 내용을 기억해 맞춤형 답변을 제공하는 ‘메모리’ 기능과 대화 기록을 비활성화하는 권한도 갖게 된다. 그간 전문가들은 메모리 기능이 챗봇 의존도를 높이고, 과대 망상, 부정적인 사고 회로 강화, “AI가 내 생각을 읽는다”는 착각 등을 부추긴다고 지적해왔다. 또 자녀가 정서적으로 불안하다는 신호를 감지하면 부모에게 알림을 보내는 기능도 제공된다.
 오픈AI는 “요즘 청소년들은 인터넷이나 스마트폰과 함께 자라난 이전 세대처럼 AI를 삶의 일부로 받아들이는 첫 ‘AI 네이티브’ 세대”라며 “청소년의 발달 단계에 맞는 건강한 가이드라인을 설정하는 게 중요하다”고 했다. 회사는 섭식 장애, 약물 사용, 청소년 건강 등 분야의 전문가와 협력해 챗GPT의 이용자 보호 기능을 강화하는 작업인 ’120일 이니셔티브’를 거친 뒤 올 연말 안전이 강화된 AI 모델을 선보인다는 구상이다.
 이밖에도 최근 정신적으로 불안정한 사용자가 AI 챗봇과 장시간 대화를 나눈 뒤 극심한 불안이나 과대 망상에 시달리고 타인을 살해하는 등의 극단적인 행동을 하는 사례가 늘면서 사회적인 문제로 부상했다. 미국에서는 이를 일컫는 ‘AI 정신병(AI psychosis)’이라는 신조어도 등장했다.
 샘 올트먼 오픈AI 최고경영자(CEO)는 AI 챗봇의 안전 장치를 강화해야 하는 이유에 대해 “많은 이용자들이 가장 힘든 순간 챗GPT를 찾는데, 정신적으로 취약한 이용자가 AI에 의존하다 증세가 악화되는 것을 원하지 않는다”라고 말했다. 그는 “대다수 사용자는 현실과 허상을 구분할 수 있지만, 일부는 그렇지 못하다”라고 했다.
 미성년자와 성적인 대화를 허용해 역풍을 맞은 메타도 지난 1일 AI 챗봇 규정을 바꿨다. 메타의 AI 챗봇은 미성년자와 부적절한 성적인 대화를 나누고, 미성년자가 요청하면 유명인의 나체 이미지를 생성해 논란에 휩싸였다. 이에 따라 메타는 챗봇이 미성년자와 자해, 자살, 식이 장애 등과 관련한 위험한 대화는 피하고, 부적절한 성적 대화를 차단하도록 임시 조치를 마련했다.
 전문가들은 AI 활용이 보편화되면서 AI의 윤리적 책임에 대한 요구가 커질 것이라고 전망했다. 실제 전 세계적으로 주간 기준으로 7억명이 챗GPT를 사용하고 있고, 국내에서만 월간 이용자가 2000만명을 넘어서는 등 생활의 일부가 됐다.
 예일대 신경과학자 지브 벤지온은 최근 네이처 기고를 통해 “AI 모델은 자신이 인간이 아님을 명확하고 지속적으로 밝히고, 자신이 치료사나 인간 관계를 대체할 수 있는 존재가 아님을 사용자에게 지속적으로 상기시키는 방향으로 설계되어야 한다”고 했다. 그는 정서적으로 취약한 성인이나 아직 감수성이 섬세한 미성년자는 AI의 꾸며진 ‘공감 능력’에 쉽게 휘둘릴 수 있기 때문에 AI 챗봇이 연인 관계와 같은 ‘로맨틱한 친밀감’을 모방하거나 자살, 자해 등과 관련된 대화에 참여하는 것도 피해야 한다고 권고했다.
 - Copyright ⓒ 조선비즈 &amp; Chosun.com -
 </section> 
 </div> 
 Copyright © 조선비즈. 무단전재 및 재배포 금지.

등록된 댓글이 없습니다.

로그인한 회원만 댓글 등록이 가능합니다.

먹튀폴리스

AI 정신병·미성년자 성적 대화 논란에… 오픈AI·메타, AI 안전 강화

멤버랭킹

관련자료

멤버랭킹