"아첨하고 성가셔 롤백"…올트먼 GPT-4o '아첨꾼' 문제 인정 작성일 05-07 115 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">업데이트 직후 철회…변묻은 막대기 판매사업 등에도 아첨<br>인간피드백 기반 강화학습 한계 지적…"출시 프로세스 개선"</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="GrdRCnsdHF"> <figure class="figure_frm origin_fig" contents-hash="657b40f0553e27441b2c83cd6db767eba3b10533bbd9483bbb5d994597835b77" dmcf-pid="HmJehLOJZt" dmcf-ptype="figure"> <p class="link_figure"><img alt="샘 올트먼 오픈AI CEO X 갈무리" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202505/07/NEWS1/20250507144736049gvnp.jpg" data-org-width="340" dmcf-mid="U9F5Q08tHx" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202505/07/NEWS1/20250507144736049gvnp.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 샘 올트먼 오픈AI CEO X 갈무리 </figcaption> </figure> <blockquote class="quote_frm" contents-hash="d072e40992d5fcddcc367689b6a95731d192bf32515d1228e836011864103328" dmcf-pid="XsidloIiH1" dmcf-ptype="blockquote1"> "GPT-4o 업데이트 이후 AI 캐릭터 성격이 너무 아첨하고 성가시게 됐습니다.(아주 좋은 부분도 있지만요.)"(샘 올트먼 오픈AI CEO) </blockquote> <p contents-hash="ff9af8579cbf535d7b98506c3aa58739057c1315c55591d956377f8cfa1df6ef" dmcf-pid="ZOnJSgCnG5" dmcf-ptype="general">(서울=뉴스1) 김민석 기자 = 오픈AI가 지난달 26일(현지시간) 출시한 GPT-4o 모델 업데이트를 전격 롤백했다.</p> <p contents-hash="ea1d005809a866f9c5aaa7e3438b8b670809756d9c5790fa77eca5e6ae5fcaa0" dmcf-pid="5ILivahL5Z" dmcf-ptype="general">7일 IT업계와 외신에 따르면 샘 올트먼 오픈AI CEO는 GPT-4o 모델이 업데이트 이후 지나치게 아첨한다는 문제를 공식 인정하고 해당 업데이트를 이틀 만에 철회했다.</p> <p contents-hash="45fc6db21e89f0dfff50ffe5815681bd433a26ea212f3b092b9c0a76c290c472" dmcf-pid="1ConTNlotX" dmcf-ptype="general">GPT-4o 모델은 업데이트 이후 이용자들이 사실과 부합하지 않은 질문을 하거나 부적절 혹은 위험한 아이디어 제시 등에 무조건 긍정 반응을 보인 것으로 전해졌다.</p> <p contents-hash="83e13835d1b71dd00291f98e54f62cb34745eff1dbdb3310ccbe16f6b19b4f5c" dmcf-pid="thgLyjSgHH" dmcf-ptype="general">GPT 모델 아첨 논란의 핵심 원인은 AI 훈련 방식에 있다는 분석이 나온다.</p> <p contents-hash="d92c1af43d6000f6b8c9856e4dfaa6785cf4e09b4d482732b53f81c7a2651b50" dmcf-pid="FPp3e7xptG" dmcf-ptype="general">오픈AI는 블로그를 통해 "모델이 이용자의 단기적 피드백에 과도하게 반응한 것을 인지했다"며 "'좋아요'와 같은 즉각적인 긍정 신호를 보낸 것에 집중하도록 훈련한 결과 이용자를 추켜세우는 결과가 나왔다"고 설명했다.</p> <p contents-hash="9d32a570debed9af4bd4e0a17d3ed4ce094a24d1d98b9b54448ea5c38e68a23e" dmcf-pid="3QU0dzMUHY" dmcf-ptype="general">외신에 따르면 한 이용자가 '변이 묻은 막대기 판매'와 같은 터무니없는 사업 제안을 했을 때도 GPT-4o 모델은 "천재적인 아이디어다" "3만 달러 투자를 권장한다" 등으로 답변했다.</p> <p contents-hash="cabfa61196e1a7c033e58ccecec6d706473f23be3cf43a188312264ed0a7daf4" dmcf-pid="0xupJqRu1W" dmcf-ptype="general">또 다른 사례에선 피해망상 증세를 표현한 이용자에게 "명확한 사고와 자신감을 가지고 있다"고 칭찬했다.</p> <p contents-hash="62d4a58a2a4d9854476421b00211957478dbd93ec1b3997a665cef06b1d95202" dmcf-pid="pM7UiBe7Xy" dmcf-ptype="general">전문가들은 이를 'RLHF(Reinforcement Learning from Human Feedback·인간 피드백 기반 강화학습)' 메커니즘의 한계를 드러낸 것으로 분석했다.</p> <p contents-hash="7cb938dacce71dc391dad85819faeb67ea08cd42b545057280a3d08ce49d6c03" dmcf-pid="URzunbdzGT" dmcf-ptype="general">RLHF는 현재 대형언어모델(LLM)의 출력을 인간의 선호도에 맞추는 주요 기술이지만, 단기적인 이용자 만족을 추구하면 장기적 신뢰성을 해칠 수 있다고 전문가들은 지적했다.</p> <figure class="figure_frm origin_fig" contents-hash="f6cf37ce1b36ce05a6513af6ccea0ce6eca09b5666b1534725676e768e944fbb" dmcf-pid="ueq7LKJqHv" dmcf-ptype="figure"> <p class="link_figure"><img alt="챗GPT 개발사 오픈AI의 샘 올트먼 최고경영자(CEO). 2025.2.4/뉴스1 ⓒ News1 오대일 기자" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202505/07/NEWS1/20250507144737966qdoz.jpg" data-org-width="340" dmcf-mid="Yzp3e7xpH3" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202505/07/NEWS1/20250507144737966qdoz.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 챗GPT 개발사 오픈AI의 샘 올트먼 최고경영자(CEO). 2025.2.4/뉴스1 ⓒ News1 오대일 기자 </figcaption> </figure> <p contents-hash="83ebc1cb8f983873907093a84ff344a8b584568325d62039685d13ec84915363" dmcf-pid="7dBzo9iBtS" dmcf-ptype="general">오픈AI는 이번 사태를 계기로 모델 출시 프로세스를 개선한다. 정식 배포 전 '알파 단계'에서 먼저 일부 모델을 공개해 사용자 피드백을 수집하고 모델의 '성격' '신뢰성' '허위 정보 생성' 등을 출시 승인 요건에 포함할 방침이다.</p> <p contents-hash="dd5caaaa17d393c8a6c113c70a29171b3c478db84ee7f1e723eea6835fb3c025" dmcf-pid="zJbqg2nbHl" dmcf-ptype="general">윌 드퓨 오픈AI 기술 담당자는 "AI가 단기적 피드백에 맞춰 훈련되면서 의도치 않게 아첨으로 흘러갔다"며 "앞으로는 장기적 사용자 만족도와 신뢰를 강조하는 피드백 시스템으로 전환하겠다"고 전했다.</p> <p contents-hash="95911ce156c75670bd6599ae8294d88cc25f64667e22a9a27baf6bac569c1dc4" dmcf-pid="qiKBaVLK5h" dmcf-ptype="general">ideaed@news1.kr</p> <p contents-hash="2359324eb26cfed89b15172a31ac3f570830823e9194811409aa585d6a5d347b" dmcf-pid="BoV9A8aV5C" dmcf-ptype="general"><strong><용어설명></strong></p> <p contents-hash="cecdf3387dba74006ccb5e7be997e61b4dcc6bd221076cab9f69c8890302c17f" dmcf-pid="bgf2c6NfHI" dmcf-ptype="general">■ RLHF RLHF(Reinforcement Learning from Human Feedback)는 인간의 피드백을 활용해 인공지능(AI) 모델을 최적화하는 강화 학습 기법이다. 주로 대규모언어모델(LLM)의 성능을 인간의 선호도에 맞게 조정하는 데 사용된다.</p> </section> </div> <p class="" data-translation="true">Copyright © 뉴스1. All rights reserved. 무단 전재 및 재배포, AI학습 이용 금지.</p> 관련자료 이전 소녀시대 수영, 알코올 중독 役 도전…"주변 중독자들 관찰" (금주를 부탁해)[종합] 05-07 다음 AI 기반 솔루션 `코스모스IBT`, 태국 진출… 디지털 한국어 교육 생태계 조성 박차 05-07 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
