AI 감각 혼선·환각, 대규모 재학습 없이 줄인다 작성일 07-31 28 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">KAIST</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="Y2zPnKB3ML"> <figure class="figure_frm origin_fig" contents-hash="0d208b20c5d2062bc8ee28dd95c5259e704de376f3917041a1b1c584d82aa8af" dmcf-pid="GaJEhonQin" dmcf-ptype="figure"> <p class="link_figure"><img alt="멀티모달 대형 언어모델의 감각 혼선과 환각을 줄일 기술이 개발됐다. 게티이미지뱅크 제공" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/31/dongascience/20260731112010649hkyr.jpg" data-org-width="680" dmcf-mid="QAbfezu5eN" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/31/dongascience/20260731112010649hkyr.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 멀티모달 대형 언어모델의 감각 혼선과 환각을 줄일 기술이 개발됐다. 게티이미지뱅크 제공 </figcaption> </figure> <p contents-hash="3a77d29dfb17bb7279949ace4f27079cede1f45241adab876ac5a0e778735313" dmcf-pid="HNiDlgLxei" dmcf-ptype="general">영상과 소리, 열화상 등 여러 정보를 함께 처리하는 '멀티모달 인공지능(AI)'의 감각 혼선과 환각을 줄이는 기술이 개발됐다. 자율주행차와 구조 로봇, 의료·보안 분야에서 활용되는 멀티모달 AI의 신뢰성을 적은 시간과 비용으로 높일 기술이라는 평가다.</p> <p contents-hash="421bab0ed86ba4b5959ee5b4c04c1e6fecb8e9fc37bfb28515ee855812bf2a5f" dmcf-pid="XjnwSaoMdJ" dmcf-ptype="general">KAIST는 노용만 전기및전자공학부 교수팀이 '멀티모달 대형 언어모델(MLLM)'의 감각 혼선과 환각을 줄이는 두가지 기술을 개발했다고 31일 밝혔다. 두 연구결과는 각각 '국제 컴퓨터 비전 및 패턴인식 학술대회(CVPR)'에 지난달 발표됐으며 국제학술지 'IEEE 트랜잭션 온 이미지 프로세싱'에 게재됐다.</p> <p contents-hash="49844c925f3aee680def864f139a0d63d8330f12595694053409b6d49ef32b4c" dmcf-pid="ZALrvNgRdd" dmcf-ptype="general"> MLLM은 텍스트뿐 아니라 이미지·영상·소리 등 여러 형태의 감각 정보를 함께 해석·생성하는 AI 모델이다. 현재 MLLM은 일반 컬러 카메라 이미지(RGB) 위주로 학습돼 실세계 응용에 필요한 비-RGB 데이터를 정확히 해석하지 못하는 경우가 있다. 여러 감각 정보가 복합적으로 입력되면 정보를 혼동해 존재하지 않는 정보를 사실처럼 지어내기도 한다.</p> <p contents-hash="ab760e32fc8c47da345549181d2ee96ad20f88fb8152b994df7efca1cae64742" dmcf-pid="5comTjaeee" dmcf-ptype="general"> 연구팀은 별도의 대규모 재학습 없이 AI 신뢰성을 높일 두 가지 기술을 개발했다. 첫 번째 기술은 AI가 일반 사진과 다른 열화상·깊이 영상·엑스레이 등 다양한 센서가 담고 있는 물리적 의미를 정확하게 이해하도록 돕는 센서 이해 AI 기술 'DNA 최적화 기법'이다.</p> <p contents-hash="dc24ef4088b906446a154d5b8d61b93dd0344b48132ec012c00abef87a788c60" dmcf-pid="1kgsyANdLR" dmcf-ptype="general"> 기존 AI는 특수 센서 영상을 일반 사진처럼 해석하는 경향이 있다. 사람과 달리 열화상 화면에서 밝게 보이는 부분이 '뜨거운 곳'이라는 것을 인지하지 못할 수 있다는 것이다. 열화상 화면에서 주변보다 밝게 나타난 사슴을 보고 사슴 몸에서 방출되는 열 때문이 아니라 햇빛이 반사됐기 때문이라고 답변하는 경우에 해당한다.<br> </p> <figure class="figure_frm origin_fig" contents-hash="b7d4ac349939860322d3757337094a7952392bde9a56f0b2ee5be7dc82642ddc" dmcf-pid="tEaOWcjJRM" dmcf-ptype="figure"> <p class="link_figure"><img alt="기존 인공지능이 열화상 이미지 해석에 오류를 범하는 예시. KAIST 제공" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/31/dongascience/20260731112011976fcke.png" data-org-width="579" dmcf-mid="xDcrvNgRda" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/31/dongascience/20260731112011976fcke.png" width="658"></p> <figcaption class="txt_caption default_figure"> 기존 인공지능이 열화상 이미지 해석에 오류를 범하는 예시. KAIST 제공 </figcaption> </figure> <p contents-hash="032b69ce062305cb7bf3f72674403a4994fdf47ca89382ef03e2d30e787c55b3" dmcf-pid="FDNIYkAiRx" dmcf-ptype="general">연구팀은 AI가 자주 틀리는 사례의 오답과 원인을 함께 학습시키는 최적화 알고리즘을 개발했다. 그 결과 AI는 대규모 데이터 재학습 없이도 어둠이나 연기 속에서도 사물을 더욱 정확하게 인식했다.</p> <p contents-hash="c28735c22e515afcce130e7e6006469dca7bf510e63e55627350e5e49274cbb8" dmcf-pid="3wjCGEcnLQ" dmcf-ptype="general"> 연구팀이 두 번째로 개발한 'MAD' 기술은 영상과 소리 등 서로 다른 감각 정보가 서로 영향을 끼치며 발생하는 환각을 줄이는 감각 혼선 방지 기술이다. CCTV 영상에는 자동차가 지나가는 장면이 보이지만 실제 소리는 녹음되지 않은 경우 기존 AI는 자동차 영상 정보로 인해 '엔진소리가 들린다'고 답할 수 있다.</p> <p contents-hash="9ab4074978b992edb46998e70eb000121699bcce6364858528dfedcb59a8f2bd" dmcf-pid="0rAhHDkLMP" dmcf-ptype="general"> MAD 기술은 AI가 질문에 답할 때 어떤 감각 정보가 더 중요한지 스스로 판단하도록 한다. 소리에 관한 질문이라면 영상 정보의 부적절한 영향을 억제하고 실제 오디오 정보에 더 집중하는 방식이다.</p> <p contents-hash="3f25a308e5d220220b6f3709784fb132f3309cc50cb345ba62ee418ab6cf8c5f" dmcf-pid="pmclXwEoe6" dmcf-ptype="general"> 연구팀은 MAD 기술을 기존 AI 모델에 프로그램을 추가하듯 바로 적용할 수 있도록 설계했다. DNA 기술 역시 막대한 컴퓨팅 자원을 투입해 AI를 처음부터 다시 학습시키지 않고도 적은 데이터만으로 다양한 센서에 대한 이해 성능을 높일 수 있다.</p> <p contents-hash="3fa395cf2b97ccc1c406df0c3793a6db79ecafe9e9903462c33b3a0be38f5885" dmcf-pid="UskSZrDgn8" dmcf-ptype="general">두 기술을 사용하면 대규모 재학습에 필요한 시간과 비용을 줄이고 멀티모달 AI의 신뢰성을 높여 산업 현장에 빠르게 적용할 수 있다.</p> <figure class="figure_frm origin_fig" contents-hash="5a95bd6c3c0dd7440f0a83146c834d9e2daf1aebc8421aa8e4300ec638d2238f" dmcf-pid="uOEv5mwaJ4" dmcf-ptype="figure"> <p class="link_figure"><img alt="연구팀이 개발한 DNA 최적화 기술이 적용된 모델의 답변(초록 글씨). KAIST 제공" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/31/dongascience/20260731112013206fyni.jpg" data-org-width="643" dmcf-mid="y7xJA64qdg" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/31/dongascience/20260731112013206fyni.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 연구팀이 개발한 DNA 최적화 기술이 적용된 모델의 답변(초록 글씨). KAIST 제공 </figcaption> </figure> <p contents-hash="9e783745bbe8875eecc83ef3e99c668efa7fa5ee32b8dbdfac95cd87bc00e831" dmcf-pid="7TIXUShDif" dmcf-ptype="general">연구팀은 두 기술을 야간이나 안개 속에서 차량과 보행자를 정확히 인식해야 하는 자율주행차, 연기가 가득한 화재현장에서 생존자를 찾는 구조 로봇, 열화상 카메라를 활용하는 드론 등에 적용할 수 있을 것으로 전망했다. 공항 보안검색대의 엑스레이 영상 분석이나 병원 컴퓨터단층촬영(CT)·자기공명영상(MRI)·엑스레이 등 여러 의료영상을 함께 분석하는 AI의 정확도를 높이는 데도 활용할 수 있다.</p> <p contents-hash="e65a8308fb1f799ef486b12c5f6f416d64f5f443f1f8e59aeda56bd22ee6ef7f" dmcf-pid="zyCZuvlwMV" dmcf-ptype="general"> 노용만 교수는 "멀티모달 AI을 실제 환경에서 사용하려면 다양한 센서의 특성을 정확히 이해하고 여러 감각 정보를 혼동하지 않아야 한다”며 "이번 연구는 대규모 재학습 없이도 AI의 감각 편향과 환각을 줄여 실제 생활과 산업 현장에서 믿고 사용할 수 있는 멀티모달 AI의 기반을 마련했다”고 말했다.</p> <p contents-hash="da74291be34292923a733d5a70af877d7d1bd09423e40cf9e0a22e7bb2aba8b5" dmcf-pid="qWh57TSrn2" dmcf-ptype="general"> <참고 자료><br> doi.org/10.48550/arXiv.2412.20750<br> doi.org/10.48550/arXiv.2601.21181</p> <figure class="figure_frm origin_fig" contents-hash="c54c61713fffcdfc5b1e2455eb274235ec7897c377d48bd69c51b7c991d149ab" dmcf-pid="BYl1zyvmM9" dmcf-ptype="figure"> <p class="link_figure"><img alt="왼쪽부터 MAD, DNA 연구 제1저자 정상윤 박사과정생, 노용만 교수, DNA연구 공동 제1저자 유영준 박사후연구원. KAIST 제공" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/31/dongascience/20260731112014469pclb.jpg" data-org-width="643" dmcf-mid="WD6oDMQ9Mo" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/31/dongascience/20260731112014469pclb.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 왼쪽부터 MAD, DNA 연구 제1저자 정상윤 박사과정생, 노용만 교수, DNA연구 공동 제1저자 유영준 박사후연구원. KAIST 제공 </figcaption> </figure> <p contents-hash="dbf5c6e9ba4b583eb0f6ea623bbabc97520187d069c59e13cbe717eea98fc35b" dmcf-pid="bGStqWTsMK" dmcf-ptype="general">[문혜원 기자 moony@donga.com]</p> </section> </div> <p class="" data-translation="true">Copyright © 동아사이언스. 무단전재 및 재배포 금지.</p> 관련자료 이전 ‘택진이형 직접 나섰다’ 엔씨 ‘아이온2’ 중국 공략 출사표 07-31 다음 "100년에 한 번 있을 홍수"…‘칩플레이션’에 엇갈린 삼성-애플 07-31 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
