노타, 업스테이지 '솔라 오픈2' GPU 8장→2장으로 줄였다 작성일 07-27 28 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">가중치 메모리 76.5% 감축…기업 AI 도입 비용 절감 기대</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="7hclEKB3cU"> <p contents-hash="7d4a98afec1f47aaa95f18f7c3f3c8fcf2beb760b4fd93391c44df10f921963b" dmcf-pid="zlkSD9b0jp" dmcf-ptype="general">(지디넷코리아=이나연 기자)노타가 정부의 '독자 AI 파운데이션 모델(독파모)' 프로젝트에서 엔비디아 H100 그래픽처리장치(GPU) 8장이 필요했던 업스테이지의 차세대 모델을 2장만으로 구동할 수 있도록 최적화하는 데 성공했다.</p> <p contents-hash="7e0ba4be8ed272830a46b1fba8e5cb486b557927a90217b6f827aab1885cfe9a" dmcf-pid="qSEvw2Kpj0" dmcf-ptype="general"><span>노타는 독파모 사업 내 업스테이지 컨소시엄에서 </span><span>2차수 성과물인 '솔라 오픈2' 전용 경량화 모델을 </span><span>글로벌 AI 플랫폼인 </span><span>허깅페이스에 </span><span>공개했다고 27일 밝혔다.</span></p> <p contents-hash="513ba7563bc1c6a4f56449cf7386be34a78637f8be696461a6857c8bc36de8dc" dmcf-pid="BpYUHLiPc3" dmcf-ptype="general">솔라 오픈2는 문서 업무와 코딩, 툴 호출, 다단계 추론 등 실제 기업 업무에 활용할 수 있는 에이전트 AI 구현에 초점을 맞춘 거대언어모델이다. 총 2500억 개의 매개변수(파라미터) 규모로, 실제 작업 시에는 필요한 150억 개만 활성화하는 전문가 혼합(MoE) <span>구조를 채택했다. 이를 통해 </span><span>토큰 사용량이 많은 에이전트 업무에서도 효율적인 운영이 가능하게 했다. </span></p> <figure class="figure_frm origin_fig" contents-hash="5d639d6240ed95eb7bd378f12dc0067ba3a4bb644ec3cfb10af6ed2be3f5592c" dmcf-pid="bUGuXonQcF" dmcf-ptype="figure"> <p class="link_figure"><img alt="솔라 오픈2 모델 전용 경량화 적용 결과 (사진=노타)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/27/ZDNetKorea/20260727104454874uffn.png" data-org-width="640" dmcf-mid="uSWpGnJ6ku" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/27/ZDNetKorea/20260727104454874uffn.png" width="658"></p> <figcaption class="txt_caption default_figure"> 솔라 오픈2 모델 전용 경량화 적용 결과 (사진=노타) </figcaption> </figure> <p contents-hash="7ea0374c1dc0c743e658a95a268c96de74a9baa74b35015fb34c5d4bd0a1f7e6" dmcf-pid="KuH7ZgLxat" dmcf-ptype="general"><span>노타는 솔라 오픈2 연산 효율을 실제 기업 환경에서의 배포 효율을 극대화하기 위해 ▲데이터 기반 MoE 양자화 ▲라우터 인지형 MoE 양자화 ▲비균일 전역 프루닝 기술을 적용했다. </span></p> <p contents-hash="192f4f63acfea06b60131d4fd5bb1564b25dec0382a5e213f17a653fd14bb017" dmcf-pid="97Xz5aoMj1" dmcf-ptype="general">데이터 기반 MoE 양자화에는 모델 가중치를 INT4 또는 NVFP4 기반의 4비트 저정밀 형식으로 변환하면서도 모든 전문가 모듈이 안정적인 통계치를 확보할 수 있도록 캘리브레이션 데이터를 합성하는 기술인 'PASCAL-MoE'를 활용했다.</p> <p contents-hash="adb3d99467d9ba3b117d3ee99cdf12e876f8e67936b04756a8ce41c86c5574d5" dmcf-pid="2zZq1NgRc5" dmcf-ptype="general">'라우터 인지형 MoE 양자화'에는 양자화 이후에도 라우터의 전문가 선택이 안정적으로 유지되도록 설계한 자체 양자화 알고리즘을 적용했다. 중요도가 낮은 전문가 모듈을 선택적으로 제거하는 '비균일 전역 프루닝 기술'도 도입했다.</p> <p contents-hash="6088ae00955f7f101d3f936a7487b7343c520eec1819d26141f704a566f3bd46" dmcf-pid="Vq5BtjaejZ" dmcf-ptype="general">결과적으로 노타는 모델 가중치를 4비트 형식으로 변환하고 중요도가 낮은 연산 모듈을 선별적으로 정리해 원본 모델 가중치 메모리를 500.6 기가바이트(GB)에서 117.8 GB로 약 76.5% 감축하는 데 성공했다.</p> <p contents-hash="a26a6d873cc53c4c71fccfbd250b63b60efa356e323705d8fd3423b62dee9f21" dmcf-pid="fB1bFANdkX" dmcf-ptype="general">메모리 용량 기준으로 엔비디아 H100 GPU 8장이 필요했던 원본 모델을 2장 환경에서도 구동할 수 있도록 최적화했다는 설명이다. 특히 양자화 이후에도 솔라 오픈2의 에이전트 AI 핵심 기능인 툴 호출이 안정적으로 유지됐다.</p> <p contents-hash="c0e36563fd21b5ac35d18915adc24918c40bee6554636d38e5cd698d514b5fb5" dmcf-pid="4btK3cjJkH" dmcf-ptype="general">김태호 노타 최고기술책임자(CTO)는 "이번 성과는 대규모 MoE 모델을 기업이 실제 도입할 수 있는 형태로 최적화했다는 데 의미가 있다"며 "기업이 자사 인프라와 예산에 맞춰 에이전트 AI를 도입하고 활용 범위를 확장할 수 있도록 모델 구조와 하드웨어 환경에 최적화된 양자화 및 경량화 기술을 고도화하겠다"고 말했다.</p> <p contents-hash="8b6cd50ce76010435f47df8a8a20242dae055e1b2b42cd99d5cf116555b99490" dmcf-pid="8KF90kAicG" dmcf-ptype="general">이나연 기자(ny@zdnet.co.kr)</p> </section> </div> <p class="" data-translation="true">Copyright © 지디넷코리아. 무단전재 및 재배포 금지.</p> 관련자료 이전 1조원 짜리 4세대 방사광 가속기 2029년 완공목표 '첫삽' 07-27 다음 ‘히타치 밴타라’ 美노먼 제조시설, 세계경제포럼 ‘등대공장’ 선정 07-27 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
