챗GPT가 자신감 있게 거짓말하는 이유는?…“추측 부추기는 학습·평가 방식이 환각 일으켜" 작성일 09-08 49 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">오픈AI, ‘AI 고질병’ 환각 원인 발표 <br> “찍기 종용하는 설계와 평가 문제”<br> “환각, 100% 제거 불가능”<br> “오답은 감점, ‘모른다’ 인정하면 점수 줘야”</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="z01lHstsgF"> <figure class="figure_frm origin_fig" contents-hash="ebe44822f7ee166ee91e9abdeda6c7dbdef7999d9592b227daa943584c8b69d2" dmcf-pid="qptSXOFOkt" dmcf-ptype="figure"> <p class="link_figure"><img alt="오픈AI 챗GPT 로고/ 뉴스1" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202509/08/chosunbiz/20250908164250294judp.jpg" data-org-width="860" dmcf-mid="7p5hGm1mA3" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202509/08/chosunbiz/20250908164250294judp.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 오픈AI 챗GPT 로고/ 뉴스1 </figcaption> </figure> <p contents-hash="743fba9f4f9c661942b0a13232ace14a6129a749aa5603eeecf3138bb958f202" dmcf-pid="BUFvZI3Ic1" dmcf-ptype="general">챗GPT와 같은 인공지능(AI) 챗봇이 사실이 아닌 답을 그럴 듯하게 지어내는 환각(hallucination)의 주요 원인으로 ‘정답을 맞출 때까지 추측을 부추기는 AI 모델 학습과 평가 방식’이라는 분석이 나왔다. 오픈AI는 지난 5일 ‘언어모델은 왜 환각을 일으킬까(Why Language Models Hallucinate)’라는 제목의 연구 보고서를 통해 이같이 밝혔다. 대규모언어모델(LLM)이 환각을 일으키는 이유를 연구한 자료를 공개한 AI 기업은 오픈AI가 처음이라 눈길을 끈다.</p> <p contents-hash="df9f4a1dbef5146e120df5848fa4bad2353902e9de17376ddba913d2ceefc749" dmcf-pid="bu3T5C0Ca5" dmcf-ptype="general">보고서는 “언어 모델이 환각을 일으키는 주된 이유는 (모델) 학습과 평가 절차가 불확실성을 인정하기보다는 추측을 장려하기 때문”이라고 주장했다. 오픈AI 연구진은 언어 모델의 기본 설계와 학습 방식을 객관식 시험에 비유했다. 문제의 답을 모를 경우 찍으면 몇 개는 맞힐 수 있지만, 빈 칸으로 두면 무조건 0점을 받는다. 문제는 AI 모델의 평가 방식은 정확도를 기준으로 이뤄지기 때문에 질문에 “모른다”고 답하는 것보다 추측하면 더 높은 점수를 받게 된다는 설명이다.</p> <p contents-hash="717dcfc95c369ef653ca3ecbc77131ebf84b7fe96450b33bc8273d0fae9a71b0" dmcf-pid="K70y1hphaZ" dmcf-ptype="general">당초 AI 모델 사전 학습(pretraining) 과정도 환각을 부추긴다고 연구진은 부연했다. AI 모델은 훈련 과정에서 특정 정보나 문장의 참·거짓 여부가 표시되지 않은 상태에서 단순히 “다음에 올 단어를 맞추는 방식”으로 학습한다. 일례로 “오늘은 날씨가__”라는 문장이 주어지면, 모델은 “좋다” “흐리다” 등 뒤에 올 단어를 예측하는 식이다. AI 모델은 “이 말이 사실인지 아닌지”를 따지는 것이 아니라 “자연스러워 보이는” 문장을 만들어내는 데 주력한다. 연구진은 “언어 모델은 문장을 만들 때 유창한 언어의 긍정적인 예시들만 보고 전체적인 패턴을 흉내 낸다”고 했다.</p> <p contents-hash="9337d61d443926ac0a462c9bfc231141a51636022cc947950831a03dca0d4399" dmcf-pid="9zpWtlUlAX" dmcf-ptype="general">그 결과 문법이나 철자 등 규칙은 쉽게 학습하지만, 훈련 데이터에 자주 등장하지 않는 사실은 추측할 수밖에 없다. 실제 연구진이 자신의 생일이 언제인지를 AI 챗봇에 3차례 물어봤는데, 챗봇은 3차례 모두 다른 답변을 내놓았고 정답을 맞추지 못했다. 오픈AI는 “훈련 데이터에 등장하지 않고 패턴을 기반으로 예측할 수 없는 (개인의 생일과 같은) 희귀한 정보의 경우 모델이 다음에 올 단어 추측에만 주력하게 된다”며 “그래서 자신감 있게 틀린 답을 내놓는 환각이 나타나는 것”이라고 했다.</p> <p contents-hash="d461a5abac5ec07d8a0afc1dbd7737ea63fe994eb3315a87a177d93fd8f4ab0b" dmcf-pid="2qUYFSuSNH" dmcf-ptype="general">환각을 줄일 수 있는 해결책으로는 “오답에만 감점을 주고, 모른다고 인정하면 부분 점수를 주는 방식으로 AI가 무작위로 답변을 찍는 것을 방지할 수 있다”고 연구진은 제안했다. 오픈AI는 이번 연구 결과를 발표하게 된 배경에 대해 “환각의 본질을 명확히 하고 환각을 둘러싼 오해를 해소하는 데 도움이 되기를 바란다”라고 밝혔다.</p> <p contents-hash="a649610d6147ffea71f2a88c19b3600ba5ff0db1d9bb57eab06acb340a01d1ca" dmcf-pid="VBuG3v7vNG" dmcf-ptype="general">환각은 AI 업계가 해결하고 싶어하는 최대 난제 중 하나다. 법률, 의료, 금융, 생명과학 등 작은 오차나 오류를 허용하지 않는 전문 분야에서 환각은 AI의 신뢰도를 급격히 떨어뜨리기 때문이다. 그동안 AI 전문가들은 환각을 범용인공지능(AGI) 시대 도달의 핵심 장애물로 지목했다. 데미스 허사비스 구글 딥마인드 최고경영자(CEO)는 “현재 AI는 구멍이 너무 많고, 기본적인 질문에도 틀린 답변을 한다”고 지적했다.</p> <p contents-hash="49147b8ee1d87dc3c86d330b5452b5be65202c5686103334dec6df045c55299a" dmcf-pid="fb7H0TzTaY" dmcf-ptype="general">오픈AI, 앤트로픽, 구글 딥마인드, 아마존, 미스트랄, 코히어 등은 주요 생성형 AI 기업들은 AI 모델의 환각을 줄이기 위해 다양한 조치를 취하고 있다. 이들은 AI 모델 학습에 사용하는 데이터 품질을 개선하고 사실 확인·검증 시스템을 구축하는 등 허위 답변의 비율을 낮추는 데 주력하고 있다.</p> <p contents-hash="5fb391e63b2b9086cb258f5f5bae90cfcb9a0feedd64871dcb48207a0d336098" dmcf-pid="470y1hphAW" dmcf-ptype="general">답변의 외부 출처를 밝히는 검색증강생성(RAG)이 대표적이다. 대다수 AI 기업들은 현대 AI 모델에 RAG 기술을 적용해 답변의 출처를 제공하는 방식으로 환각에 대응하고 있다. 최근 17억유로(약 2조7600억원) 자금을 조달한 프랑스 대표 AI 기업 미스트랄은 AI 챗봇의 사실 확인 기능을 강화하기 위해 올해 초 통신사 AFP와 기사 교류 계약을 체결했다. AFP가 보유한 수천 건의 기사를 자사 챗봇에 통합해 답변의 정확성을 높이겠다고 밝혔다. 아마존웹서비스(AWS)는 수학적 논리와 추론을 적용해 AI 모델이 생성한 답변의 정확성을 검증하는 ‘자동 추론 검사(automated reasoning checks)’라는 안전 장치를 도입했다. 이는 보안, 금융, 생명과학 등 오류 허용치가 낮은 분야에 특히 도움이 된다고 AWS는 설명했다.</p> <p contents-hash="f539d930ef6cd07ea4c2150dfbb7e82f93af9d48db6aabdc18356caed6e646d5" dmcf-pid="8zpWtlUlky" dmcf-ptype="general">다만 AI 전문가들은 아무리 AI 모델의 성능이 개선되고 검증 시스템이 좋아져도 환각을 100% 없애는 것은 불가능하다고 지적했다. 오픈AI 연구진은 “AI 모델의 크기와 검색·추론 능력과 상관없이 현실 세계에는 본질적으로 답을 알 수 없는 질문들이 존재하기 때문에 정확도는 100%에 수렴할 수 없다”고 했다. 생성형 AI 에이전트 스타트업 창업자인 암르 아와달라(구글 전 임원)는 “AI 모델이 작동하는 방식 자체가 확률 기반이라 환각을 완전히 제거하긴 어렵다”고 했다.</p> <p contents-hash="b7e876d0b4f655dd161cf6b613c92ca74a3b2337d0b1eb6cf6d8d43863ce3cd8" dmcf-pid="6qUYFSuSoT" dmcf-ptype="general">답변의 정확성을 높이는 작업은 AI 모델의 또 다른 축인 ‘창의성’ 기반 성능과 충돌한다는 지적도 나온다. AI를 활용해 소설이나 시, 시나리오 등을 쓸 경우 창의성을 최대한 발휘해야 하는데, 정확성에 치중하면 이런 능력이 약해질 가능성도 배제할 수 없다는 것이다.</p> <p contents-hash="3e9a6d92a7ed3fd18d48639bfcdce1515fb5c667e4b0a6cabc4c4378d70a3e37" dmcf-pid="PBuG3v7vov" dmcf-ptype="general">일부 AI 업계 관계자들은 앞으로 AI 모델 성능이 개선되고 환각이 완화되면서 환각 자체가 AGI 달성에 큰 걸림돌이 되지 않을 것이라고 봤다. 다리오 아모데이 앤트로픽 CEO는 환각 문제를 감안해도 대다수 생성형 AI 모델이 사람보다는 헛소리를 덜 한다고 평가했다. 그는 지난 5월 한 행사에서 “측정을 어떻게 하느냐에 달려 있지만, AI 모델이 인간보다 환각 현상이 덜 할 것”이라며 “다만 AI의 환각은 (예상치 못한) 놀라운 방식으로 나타나는 것일 뿐이다”라고 말했다.</p> <p contents-hash="4156f5b6e7ba20d4c1d972e74d0e4782ca9db6ae5785c066ffc50287a61e54d0" dmcf-pid="Qb7H0TzTNS" dmcf-ptype="general">- Copyright ⓒ 조선비즈 & Chosun.com -</p> </section> </div> <p class="" data-translation="true">Copyright © 조선비즈. 무단전재 및 재배포 금지.</p> 관련자료 이전 베니스 여우주연상에 中 신즈레이… 중국 배우로는 14년만 09-08 다음 게임도 '대중문화예술'로 격상되나…대통령 소속 대중문화교류위 추진 09-08 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
