UNIST, AI ‘전문가 공유’ 기술 개발…언어모델 크기 63% 줄였다 작성일 08-10 26 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">각 신경망 층에 공용 모듈 적용해 매개변수 중복 최소화<br>이전 선택 점수 넘겨받아 특정 경로 쏠림 현상도 해결<br>성능은 기존 수준 유지…온디바이스 AI 등 적용 기대</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="p3XN0vTsSC"> <figure class="figure_frm origin_fig" contents-hash="db09255c0073e8a7084a5a883698094ef61f963cb0cfaa5cb459de978097cfa7" dmcf-pid="U0ZjpTyOyI" dmcf-ptype="figure"> <p class="link_figure"><img alt="모든 신경망층이 함께 쓰는 공용 전문가와 해당 층에만 있는 전용 전문가를 혼합하는 기술의 모식도. 연구그림=UNIST" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/10/seouleconomy/20260810084129515gwzd.png" data-org-width="1200" dmcf-mid="0zleGrmjhh" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/10/seouleconomy/20260810084129515gwzd.png" width="658"></p> <figcaption class="txt_caption default_figure"> 모든 신경망층이 함께 쓰는 공용 전문가와 해당 층에만 있는 전용 전문가를 혼합하는 기술의 모식도. 연구그림=UNIST </figcaption> </figure> <p contents-hash="42c6097d8a0020267a8bd15c919aca2e289556cbba13040fe2f7315ab2d93bfb" dmcf-pid="u7FEzGHlvO" dmcf-ptype="general">챗GPT 등 대형언어모델(LLM)의 효율을 높이는 새로운 신경망 구조가 나왔다. 매개변수(파라미터)를 대폭 줄이면서 성능은 그대로 유지한다.</p> <p contents-hash="605a5d36e49ef248faceb5a21aaf65df9cfca0476094b8288a130b1d0a205e5e" dmcf-pid="7z3DqHXSys" dmcf-ptype="general">울산과학기술원(UNIST) 인공지능대학원 김태환 교수팀은 여러 신경망 층이 인공지능 모듈을 공유하는 새로운 전문가 혼합 구조 ‘GMoE(Global Mixture of Experts)’를 개발했다고 10일 밝혔다. 기존 언어모델의 메모리 부족과 연산 비효율을 동시에 해결한 기술이다.</p> <p contents-hash="730478f1df6b4b34142b451e61ef3941d0f6718db8650be4cc7664439aca3795" dmcf-pid="zq0wBXZvhm" dmcf-ptype="general">대형언어모델은 여러 전문가 모듈 중 일부만 골라 쓰는 ‘전문가 혼합(MoE)’ 방식을 주로 쓴다. 기존 모델은 각 신경망 층마다 별도의 전문가 집단을 뒀다. 층이 깊어질수록 매개변수가 기하급수적으로 늘어났다. 비슷한 기능이 중복되는 문제도 컸다.</p> <p contents-hash="dd27b9e2dd568b7c77653e038759049eaf191e8035d89afc0f50dc4d0b7d0b59" dmcf-pid="qBprbZ5Tvr" dmcf-ptype="general">연구팀은 ‘공유’로 문제를 풀었다. GMoE는 모든 신경망 층이 함께 쓰는 ‘공용 전문가’와 각 층에 하나씩 두는 ‘전용 전문가’로 구성된다. 가령 100개 층에 전문가를 1000명씩 두면 총 10만 명이 필요하다. 반면 GMoE는 각 층 전용 전문가 100명에 공용 전문가 1000명만 추가해 1100명으로 전체 구조를 짠다. 모델 크기와 필요 메모리가 크게 줄어든다.</p> <p contents-hash="2fb88e9e443612d70e7b3627672f39fab43d270ec6d0f1999a0ff1f8d18a13e3" dmcf-pid="BbUmK51yyw" dmcf-ptype="general">실제 성능 평가에서도 효율이 입증됐다. 연구팀은 독해, 문법, 상식 추론 등 7개 분야를 시험했다. 중간 크기 모델 기준 매개변수를 5억 4900만 개에서 2억 400만 개로 약 63% 줄였다. 평균 정답률은 39.51%를 기록했다. 매개변수가 2.5배가량 많은 기존 모델(39.55%)과 맞먹는 수치다.</p> <p contents-hash="1049bf10c8b7a3875713565efd6fc9d367661e64778bdac5523d3e3691648d57" dmcf-pid="bKus91tWWD" dmcf-ptype="general">입력값이 특정 전문가에게만 쏠리는 고질적 문제도 해결했다. GMoE는 앞선 층의 라우터 계산 점수를 다음 층으로 넘긴다. 이전 선택을 참고해 전문가를 고르게 분배한다. 그 결과 기존 방식보다 3배 이상 많은 8만 1561개의 경로를 활용했다. 가장 많이 쓰인 단일 경로 쏠림 비중도 기존 25.65∼45.55%에서 11.15%로 떨어졌다. 제한된 용량을 구석구석 알차게 활용한다는 의미다.</p> <p contents-hash="47ee3283dfd913658168fc91578186c402d465f69cd1176445839f471a01e1fc" dmcf-pid="K97O2tFYSE" dmcf-ptype="general">이번 연구는 홍건우 석사과정생이 제1저자로 참여했다. 연구 성과는 자연어 처리 분야 최고 권위 국제학회인 ‘ACL 2026’에 게재됐다. 관련 코드는 깃허브 프로젝트 페이지에 공개했다.</p> <p contents-hash="340cc40a86962019d06985c93702cbf205f6b9e835101b84c4b1568af68fb16b" dmcf-pid="92zIVF3Glk" dmcf-ptype="general">김태환 교수는 “기존 전문가 혼합 모델은 서로 다른 신경망 층이 비슷한 기능을 반복해서 학습하고, 각 층 안에서도 일부 전문가만 주로 활용되는 ‘복합 중복성’ 문제가 있었다”며 “이번 연구는 이러한 문제를 하나의 구조 안에서 함께 완화하는 새로운 아키텍처를 제시한 연구”라고 설명했다. 이어 “대형 언어모델이 더 적은 매개변수로도 다양한 전문가 조합을 활용하고, 같은 크기에서도 더 많은 방식으로 입력을 처리하는 데 기여할 것”이라고 말했다.</p> <p contents-hash="0f04b8e5b0e8db89803666d79b31723132dfc7b979795cbacf3aad68aed9a13f" dmcf-pid="2VqCf30Hlc" dmcf-ptype="general">울산=장지승 기자 jjs@sedaily.com</p> </section> </div> <p class="" data-translation="true">Copyright © 서울경제. 무단전재 및 재배포 금지.</p> 관련자료 이전 PBA, 12일부터 화성에서 팀리그 2R 스타트 08-10 다음 北 해킹조직 '김수키', 로컬 AI 구축해 공격 자동화 시도 08-10 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
