“세계 최고 학회도 농락당했다”...AI가 제시한 논문, 저자 찾아봤더니 작성일 01-29 11 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">가짜정보로 훈련시키는 ‘AI 그루밍’ 확산<br>전세계 LLM 답변 오류 유발<br>대규모 조작으로 AI 학습 왜곡<br>편향 정보·가짜 판별도 어려워<br>선거 앞둔 韓, 여론조작 주의보<br>전문가 “완전 차단은 불가능<br>전세계 협력·검증기구 설치를”</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="uY3pbAd8lh"> <figure class="figure_frm origin_fig" contents-hash="1d8c21e781df06dd891298a2078b3fdac24dffcf238e697fa8755c71a7593a94" dmcf-pid="7oDrlK3GWC" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202601/29/mk/20260129222402078demd.jpg" data-org-width="700" dmcf-mid="U1WGFdfzCl" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202601/29/mk/20260129222402078demd.jpg" width="658"></p> </figure> <div contents-hash="742c3af2e772544a0ceb92d34e6a6984a48dac317beceb1029b9d2ba21fa9934" dmcf-pid="zgwmS90HSI" dmcf-ptype="general"> 최근 생성형 인공지능(AI)이 존재하지 않는 정보나 공신력 없는 출처를 근거로 답변을 구성하며 잘못된 정보를 증폭시키는 사례가 잇따라 발생하고 있다. 단순한 답변 오류를 넘어 AI가 참고하는 인용·학습 체계 자체가 오염되고 있다는 지적이 나오면서 더 엄격한 관리와 검증 필요성이 제기된다. </div> <p contents-hash="c98faaa32ab8b7d9d215a8bbc90adfd2dc11ced6e3cd9a07742246e04653634b" dmcf-pid="qarsv2pXCO" dmcf-ptype="general">29일 미국 경제지 포천을 비롯한 외신에 따르면 최근 AI 탐지 기업 GPT제로 연구진은 지난해 세계 최고 권위의 신경정보 처리 시스템 학회인 ‘뉴립스(NeurIPS)’에서 채택된 논문 4841편을 분석한 결과, 51편에서 총 100건의 잘못된 인용 사례를 확인했다고 밝혔다. 이들 오류는 대부분 생성형 AI 모델이 만들어낸 가짜 저자·학회와 제목, AI가 작성했다고 주장되는 텍스트로 구성된 것으로 분석됐다.</p> <p contents-hash="0cc012a6e86f0b2845a0fe0ae7ee978a63b18a7df3366a8636763c12ba4dac90" dmcf-pid="BNmOTVUZls" dmcf-ptype="general">연구진은 “발표된 논문에는 무시할 수 없는 수준의 객관적 오류가 포함돼 있었다”며 “특히 이러한 문제는 해당 논문이 향후 다른 AI의 학습 자료나 연구 근거로 재활용돼 학계 전반에서 거짓이 사실처럼 유통될 수 있다는 점에서 우려가 크다”고 지적했다.</p> <p contents-hash="b94d2889823c3987e0db654b654c9e05934ef6bee8761b616eac4cb11f39c8eb" dmcf-pid="bjsIyfu5Wm" dmcf-ptype="general">이 같은 상황이 심화될 경우 여러 AI 모델이 동시에 사회 전체의 담론을 왜곡하는 이른바 ‘LLM(거대언어모델) 그루밍’ 현상으로 이어질 수 있다. 다니엘 슈뢰더 노르웨이 과학산업기술연구재단(SINTEF) 연구원을 비롯한 전문가 22명은 최근 사이언스지에 발표한 논문에서 악성 AI가 인터넷을 허위 담론으로 범람시켜 LLM의 학습 데이터 자체를 오염시키는 ‘LLM 그루밍’ 현상이 민주주의에 대한 실질적 위협이 될 수 있다고 경고했다.</p> <p contents-hash="fa9d0edb02e4f49ec65599786d3cfdb863f832b9eb02981f94bdb8bc584da256" dmcf-pid="KAOCW471Wr" dmcf-ptype="general">실제로 지난해 러시아가 유포한 친러 성향의 허위 정보가 여러 AI 서비스 답변에 반영된 사례가 있었는데 유사한 일이 반복되면 더 심각한 정보 왜곡으로 이어질 수 있다는 지적이다. 특히 민감한 선거 기간에 AI가 여론 조작 통로로 악용될 수 있는 만큼 오는 6월 지방선거를 앞둔 한국도 경각심을 가져야 한다는 목소리가 나온다.</p> <p contents-hash="d7d4329eba87eb7a4ed56935616e191270cf7c169fdd7cd8d809a53e3b9a3d35" dmcf-pid="9cIhY8zthw" dmcf-ptype="general">전 세계적으로 사용되는 AI 모델에서도 신뢰하기 어려운 출처 인용 이슈가 이어지고 있다. 영국 일간지 가디언에 따르면 구글의 ‘AI 개요’는 건강 관련 검색어에서 의료 전문 사이트보다 유튜브를 더 많이 인용한 것으로 나타났다.</p> <p contents-hash="41fbcf377047e532e687e79aeaa83fe91230e4d72b6aa7ec70cf512d3d94fc2b" dmcf-pid="2kClG6qFCD" dmcf-ptype="general">오픈AI의 챗GPT 역시 논란에서 자유롭지 않다. 테크크런치에 따르면 최근 챗GPT가 일론 머스크가 관여한 보수 성향 AI 백과사전 ‘그로키피디아’에서 답변을 가져오는 사례가 종종 확인되고 있다. 그로키피디아는 과거 노예제 정당화 주장이나 트랜스젠더 비하 용어 사용 등으로 여러 차례 비판을 받은 바 있다.</p> <p contents-hash="0e067bdd42736d8a5c66debe12ffb9c55751026b76e921098a2f8f009bd382b2" dmcf-pid="VEhSHPB3lE" dmcf-ptype="general">이 같은 문제를 막기 위해 모델의 통제와 관리를 강화하는 ‘가드레일’ 기술 등 관련 솔루션이 잇따라 등장하고 있지만, 실효성에는 회의적인 시각이 많다. 새로운 우회 기법이 계속 등장하는 데다 기술적으로도 미봉책에 가깝다는 이유에서다. 확률적 생성 구조를 기반으로 하는 LLM의 특성상 허위 정보나 편향된 인용을 완벽하게 차단하는 것은 사실상 불가능하다는 지적이다.</p> <p contents-hash="9742e50f8e7dbace556ac22c98c3962a5f44b66fc493463d6567598a75177c81" dmcf-pid="fDlvXQb0vk" dmcf-ptype="general">전문가들은 결국 사람의 역량이 중요하다고 조언한다. 이재성 중앙대 AI학과 교수는 “잘못된 데이터 유포를 막고 환각을 차단하는 데는 기술적으로 명확한 한계가 있다”며 “결국 AI 답변을 사람이 스스로 취사선별할 수 있는 역량을 갖추는 것이 중요하다”고 말했다. 그는 이어 “이제는 모델별로 답변 성향이 어느 정도 드러난 만큼, 이러한 특성을 사회적으로 널리 공유하고 주의해 활용할 수 있도록 담론을 형성해야 한다”며 “외부에서 검증할 수 있는 독립적인 기관에 대한 강화도 필요하다”고 덧붙였다.</p> </section> </div> <p class="" data-translation="true">Copyright © 매일경제 & mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지</p> 관련자료 이전 전현무, 父 투병 밝혔다 "주3회 투석..스케줄 후 직접 운전해 병원行" 01-29 다음 사발렌카, 4년 연속 호주오픈 결승 진출…리바키나와 맞대결 01-29 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
