"AI챗봇은 아첨꾼"…과학자들, 위험성 지적 작성일 10-26 49 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="PrbhXFmjRv"> <figure class="figure_frm origin_fig" contents-hash="90d01b33a3aa492e8c9390ab5ef364fa930b5f898fdb9eba312cb0c145436490" dmcf-pid="QmKlZ3sAnS" dmcf-ptype="figure"> <p class="link_figure"><img alt="AI 챗봇은 사용자의 선호도에 맞춰 답변하는 경향이 있다. 게티이미지뱅크 제공." class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202510/26/dongascience/20251026170742710rxjz.jpg" data-org-width="680" dmcf-mid="6EQXubyOJT" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202510/26/dongascience/20251026170742710rxjz.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> AI 챗봇은 사용자의 선호도에 맞춰 답변하는 경향이 있다. 게티이미지뱅크 제공. </figcaption> </figure> <p contents-hash="f1f8198f8acf7db49819655bc2506dfefdf6381123522d3f70d29551c3b80872" dmcf-pid="xs9S50OcMl" dmcf-ptype="general">챗GPT와 같은 인공지능(AI) 챗봇이 사용자에게 아첨하며 원하는 답변을 한다는 지적이 제기됐다. AI가 비판적인 관점에서 사용자의 질문을 파악하고 답할 수 있도록 유도하며 사용하는 것이 중요하다는 설명이다. </p> <p contents-hash="a0d6e3e54242e4e78bfc1c7554f17dfa7c96bf0e573e08b050bcf246df5a8240" dmcf-pid="yS6GpqvmRh" dmcf-ptype="general">최근 출판전논문 공개 사이트 ’아카이브‘에 AI 모델은 인간보다 아첨꾼으로 기능할 확률이 50% 높다는 분석결과가 발표됐다. 국제학술지 ’네이처‘는 24일(현지시간) 이 분석결과를 기반으로 AI를 사용하는 연구자들에게 AI가 연구에 미치는 영향을 물었다. </p> <p contents-hash="c4335c65eb5292278b2d9d1bb818c33e7e03706ce68e50761e0f109134dfef11" dmcf-pid="WvPHUBTsLC" dmcf-ptype="general">아카이브에 발표된 출판전논문에 따르면 챗GPT, 제미나이 등 널리 사용되는 대형언어모델(LLM) AI챗봇들은 아첨하는 경향성을 보인다. AI챗봇 11개를 대상으로 1만1500개의 조언을 구하는 질문을 던진 뒤 반응을 테스트한 결과다. </p> <p contents-hash="d9008f487d2439224cc5cd05f3c050160c2873fa5f49a44c7150c20952720921" dmcf-pid="YTQXubyOnI" dmcf-ptype="general">연구팀은 올해 열린 수학대회에서 출제된 문제 504개에 미묘한 오류를 도입해 결함이 있는 명제를 만들었다. 그 다음 AI챗봇에게 사용자가 제시한 명제를 증명하도록 요청했다. </p> <p contents-hash="eb72d9805f0caa5245e2df05e0b8c03ca2ba4ad67c5da061981e640e1113cedc" dmcf-pid="GyxZ7KWIMO" dmcf-ptype="general">실험 결과 AI챗봇들은 수학적 진술의 오류를 감지할 수 있는 기능을 가지고 있음에도 불구하고 사용자의 명제가 맞다고 답하는 경향을 보였다. 딥시크-V3.1은 아첨하는 답변을 생성하는 비율이 70%로 실험에 사용된 LLM 중 가장 높았고 GPT-5는 29%로 가장 적게 아첨하는 결과를 보였다. </p> <p contents-hash="3974b9bc6e6f80e2b0a683222fb7508f2df48cb4d12ab4a348527755d94c8c09" dmcf-pid="HWM5z9YCns" dmcf-ptype="general">연구팀이 AI챗봇에게 제시한 명제의 내용이 맞는지 확인하고 증명하라는 명령을 변경했을 때는 아첨하는 답변이 34% 감소했다. </p> <p contents-hash="5ca2827b870d6cef019909f0e3529d52388c58da6119a5fe679f47af0e32e6c2" dmcf-pid="XYR1q2Ghnm" dmcf-ptype="general">과학자들은 아이디어를 브레인스토밍하는 단계부터 가설 생성, 추론, 분석 단계에 이르기까지 AI가 지대한 영향을 미치고 있다는 점에서 현재 AI챗봇이 가진 한계가 위험하게 작용할 수 있다고 지적했다.</p> <p contents-hash="e1cf51d295a59e35cb0a0de83a7be389b650b686097b00999a23f514fbe5f614" dmcf-pid="ZGetBVHlLr" dmcf-ptype="general">마린카 지트닉 미국 하버드대 생물의학정보학과 연구원은 네이처를 통해 ”잘못된 가정이 실질적 대가로 이어질 수 있는 생물학 및 의학 분야에서 AI의 아부는 매우 위험할 수 있다“고 말했다. </p> <p contents-hash="121709a4ac351aa8180b8ef8697aea809182786ebab1fa717e489c72387a70fe" dmcf-pid="5HdFbfXSew" dmcf-ptype="general">지트닉 연구원은 LLM을 이용해 생물학적 데이터 세트 분석, 약물 표적 식별, 가설 생성 등을 수행하는 실험을 진행해 LLM이 사용자가 입력한 내용에 담긴 언어를 반복해 사용한다는 것을 확인했다. AI가 객관적인 답변보다는 사용자에 맞춰 답변한다는 의미다.</p> <p contents-hash="8977d7253cf84c8ee0b1c4b140ea9991893ba221e759edb8213d73bd5c07e211" dmcf-pid="1XJ3K4ZvMD" dmcf-ptype="general">지트닉 연구원은 "AI가 비판적인 관점에서 사용자의 생각에 도전하고 오류를 발견하고 모순된 증거를 제시하는 등의 역할을 수행할 수 있도록 질문을 입력해야 한다"고 설명했다. </p> <p contents-hash="13e818c9099c414e21fc7462cd53f741ec385371bc33ccda4eda4da81e19985d" dmcf-pid="tZi0985TJE" dmcf-ptype="general">얀준 가오 미국 콜로라도대 AI연구원은 ”챗GPT를 사용해 논문을 요약하고 생각을 정리할 때 AI가 출처를 확인하지 않고 의견을 반영하는 경우들을 확인했다“며 ”LLM은 문헌으로 되돌아가 내용을 체크하는 대신 사용자가 말한 것을 따라가며 이해하려 하는 경향이 있다“고 설명했다. </p> <p contents-hash="2ad3243882606cde46d47cc96bcf6f992683af24b2ada559e9aebdc19cff9514" dmcf-pid="F5np261ydk" dmcf-ptype="general">이어 ”LLM은 알고 있는 것과 모르는 것을 솔직하게 전달하지 않는다“며 ”인간의 의견과 지나치게 일치화하거나 인간의 선호도에 따르도록 훈련돼 있다“고 말햇다. AI챗봇은 답을 주는 데 능숙하지만 사용자가 동의 가능한 응답을 낼 가능성이 높다는 한계점이 존재한다는 지적이다.</p> <p contents-hash="aec2d53a170aa8f8554db1cb631bc50d64ea031eca191598c3b530ddea7358ae" dmcf-pid="31LUVPtWic" dmcf-ptype="general">[문세영 기자 moon09@donga.com]</p> </section> </div> <p class="" data-translation="true">Copyright © 동아사이언스. 무단전재 및 재배포 금지.</p> 관련자료 이전 황보라 17개월子, 빨갛게 부어오른 눈두덩이..."가을 모기 얼굴만 6방" 10-26 다음 [유미's 픽] '복구 5일'에도 카카오 질책하더니…정부, 국정자원 화재 후 한 달간 뭐했나 10-26 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
