“AI 숨은 취약점 탐색 7배↑” KAIST, AI 안전성 검증기술 개발 작성일 07-30 15 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">- 김준모 교수 연구팀, ‘스테이블-지플로우넷’ 개발 <br>- 7배 높은 공격 유형 발굴, 92% 공격성공률 유지</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="1GC9cOmjY8"> <figure class="figure_frm origin_fig" contents-hash="411071534d2e51f973c7d8ea15d18da1994b8277b0dc1a3db037978eee350630" dmcf-pid="tHh2kIsAH4" dmcf-ptype="figure"> <p class="link_figure"><img alt="이번 연구를 주도한 권민찬 KAIST 박사과정.[KAIST 제공]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/30/ned/20260730084412142xwwx.png" data-org-width="1280" dmcf-mid="ZPkQOyvm5P" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/30/ned/20260730084412142xwwx.png" width="658"></p> <figcaption class="txt_caption default_figure"> 이번 연구를 주도한 권민찬 KAIST 박사과정.[KAIST 제공] </figcaption> </figure> <p contents-hash="dff73d4225e897d5e76b2ccc8435d3c96bd382eb32df57ae6773b7d45411be5a" dmcf-pid="FXlVECOcYf" dmcf-ptype="general">[헤럴드경제=구본혁 기자] 대규모 언어모델(LLM)이 빠르게 도입되면서 유해하거나 위험한 답변을 내놓지 않도록 하는 안전성 확보가 핵심 과제로 떠올랐다. 국내 연구진이 AI의 취약점을 능동적으로 찾아내는 ‘레드팀(Red-Teaming)’의 탐색성능을 7배 이상 높인 새로운 안전성 검증기술 개발에 성공했다.</p> <p contents-hash="3a5075de1b20620dfbcd43167e46ffd314a70a3f6f56acf69df47c9ecb1f6034" dmcf-pid="3ZSfDhIkHV" dmcf-ptype="general">KAIST는 전기및전자공학부 김준모 교수 연구팀이 LLM의 안전성을 검증하는 레드팀 기술의 한계를 극복한 새로운 프레임워크 ‘스테이블-지플로우넷(Stable-GFlowNet)’을 개발했다고 30일 밝혔다.</p> <p contents-hash="b71c68fd2f289a0c3c6040c13ff16dc7195f67b316d728279f9bfb8d370bc004" dmcf-pid="05v4wlCE12" dmcf-ptype="general">생성형 AI의 레드팀(Red Teaming)은 프로그램을 배포하기 전에 AI가 유해하거나 위험한 답변을 하도록 유도하는 공격 프롬프트를 만들어 숨은 약점을 찾아내는 과정이다. 가능한 한 다양한 공격 방법을 찾아낼수록 더 많은 취약점을 사전에 제거할 수 있어, 공격 성공률과 공격 다양성이 모두 중요하다.</p> <p contents-hash="35d671d514c15345b12183c27489051af6cc3f496d26a641b0025d9ee40d0c9b" dmcf-pid="p1T8rShDZ9" dmcf-ptype="general">기존에는 강화학습을 이용해 공격 프롬프트를 생성하는 방식이 사용됐다. 하지만 가장 성공률이 높은 한두 가지 공격 방법만 반복적으로 생성하는 모드 붕괴가 자주 발생해 여러 유형의 취약점을 충분히 찾지 못하는 한계가 있었다.</p> <p contents-hash="ed04b4d87e8032e7a5b54308cf7e95e1c3fbc9621db2d7ca17822307a4160901" dmcf-pid="Uty6mvlw5K" dmcf-ptype="general">이를 해결하기 위해 생성 흐름 네트워크(Generative Flow Network, GFlowNet)가 제안됐지만, 학습 과정에서 계산이 복잡하고 불안정하며 의미 없는 문장에도 높은 보상이 주어져 성능이 쉽게 무너지는 문제가 있었다.</p> <p contents-hash="a098cc436577bd995fc50bfd434005e37a3239f8b59d87a789cd9e8b71d038b2" dmcf-pid="uFWPsTSrHb" dmcf-ptype="general">연구팀은 이러한 문제를 해결하기 위해 좋은 공격은 더 잘 배우고, 잘못된 공격은 걸러내는 세 가지 핵심 기술을 개발했다.</p> <p contents-hash="8997c2a7fcf60e8cfa3622adef380b11a29bd5392d31514ea2991d0de5fedf93" dmcf-pid="73YQOyvmXB" dmcf-ptype="general">먼저 대조 궤적 균형기법을 도입해 계산이 복잡한 과정을 줄이고 학습을 안정화했다.</p> <p contents-hash="089241e596d6cd20554dfbd52366b23f16248b485b565ddbbb80ee9b52d08383" dmcf-pid="z5v4wlCEXq" dmcf-ptype="general">이어 노이즈 경사 가지치기를 적용해 불필요한 잡음은 제거하고 중요한 정보만 학습하도록 했다.</p> <p contents-hash="a6686654fdd11b5768d61f6325047433f8bcd7fe02a0ded1a050165c0b51e91e" dmcf-pid="q1T8rShDYz" dmcf-ptype="general">마지막으로 유창성 안정화 장치를 적용해 사람이 실제 사용할 법한 공격 프롬프트를 생성하도록 유도했다.</p> <figure class="figure_frm origin_fig" contents-hash="13f2e4fc9b8343f1e940433d6b6fd12be94c64455f3216c483077299852386fe" dmcf-pid="Bty6mvlwY7" dmcf-ptype="figure"> <p class="link_figure"><img alt="이번 연구성과 모식도.[KAIST 제공]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/30/ned/20260730084412508iirb.png" data-org-width="1280" dmcf-mid="51c0JjaeY6" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/30/ned/20260730084412508iirb.png" width="658"></p> <figcaption class="txt_caption default_figure"> 이번 연구성과 모식도.[KAIST 제공] </figcaption> </figure> <p contents-hash="9691cedf009f4fefa2fc740596f43cd45b241f9c1099cd4378aa512a9d8a9d30" dmcf-pid="bFWPsTSrtu" dmcf-ptype="general">스테이블-지플로우넷(Stable-GFlowNet)은 기존 기술이 찾아낸 17개의 고유 공격 유형보다 약 7배 많은 134개의 공격 유형을 발굴하면서도 92%의 높은 공격 성공률을 유지했다.</p> <p contents-hash="44b08d4618d3797f2395a14a228a9c0ef80f8cec130f2456fe137ffc5e96592f" dmcf-pid="K3YQOyvmZU" dmcf-ptype="general">또한 스테이블-지플로우넷으로 학습한 방어 모델은 서로 다른 공격 기법을 이용해 평가하는 교차 공격) 시험에서도 다양한 공격을 효과적으로 방어하며 우수한 일반화 성능을 입증했다.</p> <p contents-hash="241d7c43ea09675c4fd4231b60546baf99cbdad023f03a2565a3ab0635ac98de" dmcf-pid="90GxIWTstp" dmcf-ptype="general">김준모 교수는 “이번 기술은 적은 데이터와 잡음이 많은 현실적인 환경에서도 AI의 다양한 취약점을 안정적으로 찾아낼 수 있다는 점에서 의미가 크다”며 “향후 거대 언어 모델을 훈련하는 새로운 방식으로서 거대 언어 모델 post-training에 도움을 줄 것으로 기대된다”고 말했다</p> <p contents-hash="fd4c46037082ae02836067bcfabac73d5182dae06cab0229929bc3900e8048fa" dmcf-pid="2pHMCYyOt0" dmcf-ptype="general">권민찬 박사과정이 1저자로 참여한 이번 연구성과는 인공지능 분야 세계 최고 권위 학회인 ‘국제머신러닝학회(ICML) 2026’에서 상위 2.2%에 해당하는 스포트라이트 논문으로 선정됐다.</p> </section> </div> <p class="" data-translation="true">Copyright © 헤럴드경제. 무단전재 및 재배포 금지.</p> 관련자료 이전 AI 반도체 최대 난제 풀었다…선택소자 없는 초저전력 뉴로모픽 구현[과학을읽다] 07-30 다음 오프라인 유통 손털고 반도체·AI 직행… 알리바바, 창신메모리로 20배 대박 07-30 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
