AI학회에서 터진 '환각인용' 폭탄…어떻게 봐야 할까 작성일 01-31 5 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">[김익현의 미디어 읽기] 비율은 1.1% 불과…파장 생각하면 간단한 문제 아냐</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="6Pf4sLPKcG"> <p contents-hash="b07466038fd40d5cc8aece99bb8f0ab5b9d1d404863b9d4f45c01fda13f00783" dmcf-pid="PQ48OoQ9kY" dmcf-ptype="general">(지디넷코리아=김익현 미디어연구소장)학계는 철저한 신뢰 사회다. 정직하게 행동할 것이란 전제를 깔고 운영되는 곳이다. 이런 바탕 위에서 주변 동료들의 논문을 평가하고, 게재를 허락해 준다. </p> <p contents-hash="2ec5081d9f3d0f1b4d5ffe2f5d2980fbd24e70cb2e188bdb83d29196d16ad379" dmcf-pid="QhsOBXhDaW" dmcf-ptype="general">대신 부정행위가 발견되면 엄격하게 제재한다. 해당 논문 뿐 아니라 연구자의 신뢰 자본까지 모두 몰수해 버린다. 특히 논문에서 각종 수치나 연구 결과, 인용 조작은 절대 금기 사항이다. 존립 기반을 흔드는 행위이기 때문이다. 그만큼 연구자들의 윤리와 명성을 굉장히 중요하게 생각한다.</p> <p contents-hash="33044f6fca8e5efe765da5c16a851a6b8d1e9f5eb4bfdecd73ab1fb44001e4fd" dmcf-pid="xlOIbZlway" dmcf-ptype="general">최근 인공지능(AI) 학회 중 하나인 신경정보처리시스템학회(NeurIPS, 이하 뉴립스)에서 불거진 논문 ‘환각 인용’ 사례가 예사롭지 않게 받아들여지는 건 이런 사정과 관련이 있다.</p> <figure class="figure_frm origin_fig" contents-hash="522a5af4595a930f85ddacab8ee75c3b3b1042bc15999a3a1ded7ac609b28705" dmcf-pid="y82Vri8BkT" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202601/31/ZDNetKorea/20260131114227828exqn.png" data-org-width="640" dmcf-mid="KDTEDdfzgw" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202601/31/ZDNetKorea/20260131114227828exqn.png" width="658"></p> </figure> <p contents-hash="479cbed346e3679fd3d193a17c641bdb4e1da09067cbb84babcf126c30684a6d" dmcf-pid="W6Vfmn6bNv" dmcf-ptype="general"><strong>존재하지 않는 저자나 학술지 창조해내기도 </strong></p> <p contents-hash="a08a67a95ae25cb6ed6f230df7eab0a82274e2c5704ed2e0f8c89a3b90d9120f" dmcf-pid="YPf4sLPKgS" dmcf-ptype="general">뉴립스는 AI, 머신러닝 분야 최고 권위를 자랑하는 학회 중 하나다. 논문 채택률이 25% 수준에 불과할 정도로 경쟁이 치열하다. 지난 해도 접수된 논문 2만 1,000건 중 실제 게재된 것은 6,000건에도 미치지 못했다. 이런 권위 있는 학회 논문에서 '환각 인용' 사례가 발견되면서 잔잔한 논란이 일고 있다. </p> <p contents-hash="a454efd5ba6c9b54466c66b3697fbb37f1524d732d046cb9c2ab66dad03f38ff" dmcf-pid="GQ48OoQ9Al" dmcf-ptype="general">캐나다 AI 탐지 스타트업 GPT제로는 지난 달 미국 샌디에이고에서 열린 '뉴립스 2025' 채택논문 51 편에서 100건 이상의 ‘환각 인용’이 발견됐다고 발표했다. 학회 제출 논문 4,841편을 분석한 결과다.</p> <p contents-hash="ca07693d2822b76fea47ae9b3db9fcbb2c8513eca553a94f9cbf85e565a5352d" dmcf-pid="Hx86Igx2kh" dmcf-ptype="general">이 같은 사실은 포천이 21일(현지시간) 처음 보도하면서 알려지게 됐다. 이후 테크크런치를 비롯한 여러 매체들이 추가 보도를 내놨다. </p> <p contents-hash="30bebe5315f45556bb7829eeae8573d4da5d62e3d255277d5f5fd68fcacdefde" dmcf-pid="XM6PCaMVaC" dmcf-ptype="general"><span arial="Arial," blinkmacsystemfont="BlinkMacsystemFont," neuequot='Neue",' next="Next" nova="Nova" quotavenir='"Avenir' quothelvetica='"Helvetica' quotproxima='"Proxima' quotsegoe='"Segoe' roboto="Roboto," rubik="Rubik," sans-serifquot='sans-serif;"' system-ui="system-ui," uiquot='UI",' w01quot='W01",'>GPT제로가 찾아낸 환각 인용 사례는 다양하다. AI 모델이 실제로 존재하는 여러 논문의 요소를 섞거나 바꿔 쓰면서, 그럴듯해 보이는 논문 제목과 저자 목록을 만들어 내기도 했다.</span></p> <p contents-hash="f476651e82d410ab71c5cae207d4c926fe44e4923cba788662c0b8a9e3a8f5c4" dmcf-pid="ZRPQhNRfjI" dmcf-ptype="general">참고 문헌에 있는 논문 전체를 완전히 꾸며낸 것도 있었다. 존재하지 않는 저자, 조작된 논문 제목, 없는 학술지나 학회도 포함됐다.</p> <p contents-hash="72037ec7ee1d773d8a1881adf3516f900813962cedf939daa6f773beeb5bf658" dmcf-pid="5eQxlje4AO" dmcf-ptype="general">실제 논문을 출발점으로 삼았지만, 세부 사항을 교묘하게 바꾸는 경우도 있었다. 저자 이름 약어를 엉뚱하게 풀어 쓰거나, 공동 저자를 빼거나 추가하는 사례가 발견됐다. 논문 제목을 바꿔 표현하기도 했다.</p> <figure class="figure_frm origin_fig" contents-hash="e95d4c27a6e11123c7d755fb98724bebd89128bcab03d9637dae358b12333bf7" dmcf-pid="1dxMSAd8js" dmcf-ptype="figure"> <p class="link_figure"><img alt="GPT제로가 소개한 환각인용 사례. (사진=GPT제로)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202601/31/ZDNetKorea/20260131114229205etia.png" data-org-width="638" dmcf-mid="9WhBbZlwcD" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202601/31/ZDNetKorea/20260131114229205etia.png" width="658"></p> <figcaption class="txt_caption default_figure"> GPT제로가 소개한 환각인용 사례. (사진=GPT제로) </figcaption> </figure> <p contents-hash="0f63d45c15797eebde5c1a6aa2e836285357d3fea7c8954575406a1ff085d1dc" dmcf-pid="tJMRvcJ6jm" dmcf-ptype="general">이번 연구는 ‘인용’을 대상으로 분석한 것이다. 환각 인용 비중 역시 전체 논문의 1.1%에 불과할 정도로 미미한 편이다. 학회 측도 “환각 인용이 발견된 사례들도 게재 취소에 이를 정도로 심각한 것은 아니다”고 밝히고 있다.</p> <p contents-hash="09a92f713eae6f4c4388b35fcd9de56419996552760346c4e5d9c1849e80b8ac" dmcf-pid="FiReTkiPgr" dmcf-ptype="general">현실적인 어려움도 만만치 않다. AI 같은 첨단 분야 논문은 해마다 엄청나게 늘고 있기 때문이다. 뉴립스 역시 2023년 1만2,343건이었던 논문 투고 건수가 2024년엔 15,671건으로 늘어난 데 이어 지난 해엔 21,575건으로 증가했다. 자율봉사자들을 통해 오류를 가려내는 작업을 하고 있지만, 한계는 뚜렷한 편이다.</p> <p contents-hash="bfa384c361fd5234ebb5cbfee2e1a2fa0c742dab3f1b4f3fcffad57b5ea4a3ab" dmcf-pid="3nedyEnQow" dmcf-ptype="general"><strong>신뢰를 토대로 한 동료 평가 방식, AI 시대에도 통할까</strong></p> <p contents-hash="dda69cd4adc77c79dc8b30f38062a98e368a56bfa3e58e5418c7bcbb13f5b500" dmcf-pid="0ginGrgRAD" dmcf-ptype="general">문제는 이런 상황이 갈수록 심해질 것이란 점이다. 그럴 경우 신뢰를 전제로 한 학술 논문 심사 제도 자체가 흔들릴 수도 있다.</p> <p contents-hash="dca76696568c5ced75995e0e1429bb71a26c2a6b16186e6ba3373cd8bad3c09d" dmcf-pid="panLHmaeaE" dmcf-ptype="general">AI 같은 첨단 분야 논문 심사자는 모든 실험을 다시 해보지 않는다. 모든 인용 논문을 하나하나 찾아보지도 않는다. 이런 가정을 전제로 심사를 진행한다.</p> <p contents-hash="6a60d1fe1a9f2a925575a4903915c316f44930d1384e6e4402ef25530d4e495c" dmcf-pid="UNLoXsNdNk" dmcf-ptype="general">“이 연구자는 실제로 존재하는 연구를 인용했을 것이다.”</p> <p contents-hash="12c1e7d4f79ca7e661c9876b9a43d7a0e5f6a0af05e7ff47943f061e4d9f67ba" dmcf-pid="ujogZOjJgc" dmcf-ptype="general">“의도적으로 거짓을 쓰지는 않았을 것이다.”</p> <p contents-hash="8e76ed364e33d0ebfffc0c979731c4fd76a189d5427259d2a4a1e8b27e007b0c" dmcf-pid="7Aga5IAijA" dmcf-ptype="general">그렇기 때문에 연구 조작은 가려낼 방법이 많지 않다. ‘동료 평가’ 방식으로 품앗이를 하고 있는 연구자들에게 모든 데이터와 참고 자료를 전부 점검하라는 것은 애당초 불가능한 요구에 가깝다.</p> <p contents-hash="1230e5a6f616fd0d8d89dd93fdf2fae4c875f8f7b41228cc0fc15369095fdf1e" dmcf-pid="zcaN1Ccngj" dmcf-ptype="general">학계가 부정행위에 유난히 엄격한 것도 이런 사정과 관련 있다. 논문 한 편의 문제가 아니라, 연구자 개인의 신뢰가 무너지는 행위로 보기 때문이다. 한 번 신뢰를 잃으면, 그 이후의 연구도 의심받는다.</p> <p contents-hash="8a5eed0c379a82b3a221438538222c2432a8910bd4c7133a4d595e6d1d80670e" dmcf-pid="qkNjthkLkN" dmcf-ptype="general">뉴립스 사례가 예사롭지 않게 받아들여지는 것인 이런 문제 때문이다. AI가 학계의 기본 문법을 교묘하게 흔들고 있다는 점이다.</p> <p contents-hash="fbde7b3eb48bfdefa062a15a83ebbd83e63fde35dcfd683d1d8ba82d336f3340" dmcf-pid="BEjAFlEoAa" dmcf-ptype="general">AI의 환각 작용은 인간의 거짓말과는 다르다. 없는 이야기를 지어내는 거짓말과 달리, 환각은 AI가 좀 더 그럴 듯한 문장이나 이야기를 만드는 과정이다. ‘윤리의식’이 없는 AI로선 최적의 해답이 없을 경우엔 그 다음으로 확률 높은 답을 제시하는 것이 자신의 임무라고 받아들이기 때문이다.</p> <p contents-hash="1b759212e13d19415ce0667e59734a861b21992562816e9a3777149c7d3f62cd" dmcf-pid="bDAc3SDgNg" dmcf-ptype="general">그 과정에서 AI는 존재하지 않는 논문 제목과 저자를 만들어낸다. 사용자가 꼼꼼히 검증하지 않으면, 이런 인용은 그대로 논문에 들어간다.</p> <p contents-hash="9d9c2d8a266b54305ab3873847593b7bacd15c1dec8454a2038a9fca9c3a6d09" dmcf-pid="Kwck0vwaAo" dmcf-ptype="general">논문에는 거짓이 들어가지만, 그 글을 쓴 AI는 ‘속일 의도는 없었다’고 항변할 지도 모른다. 그런데 이런 지점에서 기존 학술 윤리의 문법이 무너져 버리게 된다.</p> <p contents-hash="a6994f0c86da6f07eca0e451042b70b878e68ff4a4f37559519b25b03e6a0aa9" dmcf-pid="9rkEpTrNNL" dmcf-ptype="general">따라서 이번 사건에서 ‘환각 인용 비율 1.1%’는 중요하지 않다. 이번 사건에서 중요한 것은 비율이 아니라 신호이기 때문이다. AI 시대의 학술시스템이 지금 방식 그대로 유지될 수 있는지 묻는 경고에 가깝다.</p> <p contents-hash="7eefde4f0fba128b5b90355e55dd48c1712d4be20712eb7cacb08dfaa940f260" dmcf-pid="2mEDUymjNn" dmcf-ptype="general"><strong>환각 인용 1.1%, 가볍게 넘겨도 되는 걸까 </strong></p> <p contents-hash="75f961243cd9a71bffa92118b8656cf4c2f193d0718bae1f1aab54460d84f058" dmcf-pid="VsDwuWsAai" dmcf-ptype="general">이 사건이 던지는 핵심 질문은 단순하다.</p> <p contents-hash="101dcc4f87b0b35ba72a6d6485f44d8aa50e17f676ab59d1bf4bc307831b2215" dmcf-pid="fOwr7YOckJ" dmcf-ptype="general"><strong>첫째. AI가 저지른 논문의 오류는 누가 책임져야 할까.</strong></p> <p contents-hash="d62cdb8f70bfca736ea47e9f8ff39737c53b60e80eef95c6a847657c8638f43e" dmcf-pid="41HXMq1yad" dmcf-ptype="general"><strong>둘째. ‘신뢰 기반 동료 평가’ 논문 심사 시스템은 AI 시대에도 여전히 유효할까.</strong></p> <p contents-hash="347cdfa67c60c591180ea03851dbfd3bfabd90fce48b0e944f0ee952870caa82" dmcf-pid="8tXZRBtWNe" dmcf-ptype="general"><strong>셋째. AI 사용을 어디까지 허용해야 하며, 어디까지 검증해야 할까.</strong></p> <p contents-hash="f1e033a4635197a9fd274cc3539f52d2223cadb7e356ece8e92772a89ea1a60e" dmcf-pid="6FZ5ebFYkR" dmcf-ptype="general">학계에도‘AI 판도라의 상자’는 열렸다. 한번 연 AI 사용 문호를 다시 닫는 것은 사실상 불가능하다. 실제로 AI를 활용하면 논문 작업 효율을 크게 높일 수 있다.</p> <p contents-hash="429b776a8661b2a59e639204872cb162f25b84fbc0b0868583495af699c1b903" dmcf-pid="P351dK3GoM" dmcf-ptype="general">그렇다면 어떻게 해야 할까? ‘AI 이전 시대’에 확립된 문법을 바꾸고 개선해야 한다. 신뢰를 전제로 한 기존 규칙을 재정의하는 것이다.</p> <p contents-hash="2c75c86920c09924c5afbb55697e72f2721bec764ca777aa063f282e98adb521" dmcf-pid="Q01tJ90Hax" dmcf-ptype="general">뉴립스의 ‘환각 인용비율 1.1%’는 작은 숫자일 지 모른다. 하지만 그 숫자가 던진 질문은 결코 작지 않다. AI 시대 학술 생태계가 앞으로 반드시 답해야 할 문제이기 때문이다.</p> <p contents-hash="acc3ca2870f90cd28d4918ccc3694d95c0e202e67509443c93092083921d52ce" dmcf-pid="xptFi2pXoQ" dmcf-ptype="general">김익현 미디어연구소장(sini@zdnet.co.kr)</p> </section> </div> <p class="" data-translation="true">Copyright © 지디넷코리아. 무단전재 및 재배포 금지.</p> 관련자료 이전 이관희 3단 콤보, 공개 무시+슬쩍 삭제+떠넘긴 사과..홍진경, 이런 '대인배' 또 없다 [스타이슈] 01-31 다음 슈퍼주니어 20주년 공연 ‘슈퍼 쇼 10’, 서울 앙코르 ‘가볍게’ 매진 01-31 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
