카카오, 'COLM 2026'서 AI 학습 최적화·경량화 연구 기법 발표 작성일 10-08 53 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="pbhKdJtWWv"> <figure class="figure_frm origin_fig" contents-hash="a579a3de43f46c2bb34657c8939449ef442f07d39ec0a1885d4b4729bb5cd4a8" dmcf-pid="UKl9JiFYyS" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/08/552796-pzfp7fF/20261008172444965bqiu.png" data-org-width="640" dmcf-mid="08KkTyd8CT" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/08/552796-pzfp7fF/20261008172444965bqiu.png" width="658"></p> </figure> <p contents-hash="e522dbce103fda6c2dae347b2228778b2089648f5b16cb548cc4cfa9f72384e6" dmcf-pid="u9S2in3Ghl" dmcf-ptype="general">[디지털데일리 채성오기자] 카카오는 언어모델링 국제 학회 'COLM 2026'에서 대규모 전문가 혼합(MoE) 모델의 학습 효율을 높이는 기술과 모델 크기를 줄이면서도 성능을 개선하는 경량화 기술을 발표했다고 8일 밝혔다.</p> <p contents-hash="0765d004489014656534bcf399429b58a9b08bbfbf61a623e846eacbf2637d87" dmcf-pid="72vVnL0Hlh" dmcf-ptype="general">COLM은 2024년 신설된 국제 학회로 대규모 언어모델(LLM)과 언어모델링 연구를 전문적으로 다룬다. 카카오는 이번 학회의 메인 컨퍼런스와 토크나이제이션 워크숍 'TokShop'에서 각각 성과를 소개했다.</p> <p contents-hash="f9a634cb190aff14de35e3e1a6095b7b9c2688f9996032131745b0aac7c97894" dmcf-pid="zVTfLopXlC" dmcf-ptype="general">메인 컨퍼런스에서 발표한 논문 'Let’s Scale Step by Step: Compute-Efficient Hyperparameter Transfer for Large-Scale Mixture-of-Experts'는 대규모 MoE 모델의 사전 학습에 필요한 최적의 학습률을 전체 학습 비용의 약 1% 수준으로 예측하는 방법론을 담았다.</p> <p contents-hash="54a7408af7f0e931917ba3e007642c9cf2c8f34f06f536754be49113d24f6456" dmcf-pid="qfy4ogUZWI" dmcf-ptype="general">학습률은 인공지능(AI) 모델이 학습할 때 내부 설정값인 ‘매개변수’를 얼마나 크게 조정할지 정하는 값이다. 너무 크면 학습이 불안정해지고, 너무 작으면 학습 속도가 느려질 수 있어 적절한 값을 찾는 것이 중요하며 학습의 안정성과 성능에 영향을 미친다.</p> <p contents-hash="a62d8e95dcc001e18ac1f834c3d9c5e128f4527099163cdb9f4d021ed1e2c2b6" dmcf-pid="B4W8gau5yO" dmcf-ptype="general">MoE 모델은 최근 고성능 LLM의 핵심 구조로 주목받고 있지만 기존 Dense(밀집형) 모델에 비해 학습 설정과 방법에 관한 공개 연구가 충분하지 않다. 이에 대규모 학습 시 비용에 대한 부담과 시행착오가 발생할 수 있다.</p> <p contents-hash="3f565c7055f6cd4ac49c25d7c311278ca67e17d9df9cda894e02df312e26f73c" dmcf-pid="b8Y6aN71ys" dmcf-ptype="general">카카오는 소규모 모델에서 찾은 최적의 학습 설정을 대규모 모델로 확장하는 '뮤-매개변수화' 기법을 MoE 모델 구조의 특성에 맞게 적용했다. 모델의 크기와 학습 토큰량을 단계적으로 확장하며 최적의 학습률을 탐색하고 짧은 학습 구간에서 찾은 설정이 대규모 학습에서도 유효하게 적용됨을 검증했다.</p> <p contents-hash="820b80d51361a024d13de2cf6ec3161ff232960b6c2140569eb0500b119dac2d" dmcf-pid="KKl9JiFYlm" dmcf-ptype="general">해당 방법론은 카카오의 'Kanana-2.6-155b-a17b' 모델의 사전학습에 실제로 적용돼 10조(10T) 토큰까지 안정적으로 학습하는 데 활용됐다.</p> <p contents-hash="abe39e99ddf46c63e18562036a635f042429837dc348205721d7d0cecd80f3dd" dmcf-pid="99S2in3Glr" dmcf-ptype="general">또한 TokShop에서는 모델 크기를 줄이면서도 성능을 높인 'BBT: BPE-Guided Byte Transformer'를 공개했다. 기존 '문자 조합 토큰 생성 방식(BPE)' 기반 모델은 글을 읽고 답변을 생성하기 위해 수많은 단어와 단어 조각에 해당하는 정보를 저장해야 한다.</p> <p contents-hash="0154975dc9b8b5fab5e08a3c6401f1526f410db09a7676e37c9118467120448e" dmcf-pid="22vVnL0HCw" dmcf-ptype="general">BBT는 이를 더 작은 기본 단위인 '바이트'를 활용하는 구조로 바꿔 모델의 크기를 줄이면서 여러 문자를 묶어 효율적으로 압축 처리하는 기존 방식의 장점은 유지했다고 카카오 측은 설명했다. 실제로 BBT는 비교 실험에서 파라미터 수를 20.2~40.4% 줄이면서 테스트 성능을 2.7~6.6% 개선했다. 또한 오탈자나 문자 교란에 대한 강건성을 확보하고 학습하지 않은 언어로의 전이 성능도 높였다.</p> <p contents-hash="b54878ea7c254ee2705142c090e849b962d1df3140f651a9faadeaf413328969" dmcf-pid="VVTfLopXhD" dmcf-ptype="general">카카오 관계자는 "이번 연구들은 AI 모델의 성능을 유지하거나 향상시키면서도 학습 및 운영 비용을 낮출 수 있는 실용적인 해법을 제시했다는 데 의의가 있다"며 "앞으로 다양한 모델 구조와 멀티모달 및 다국어 환경으로 연구를 확장해 실제 서비스 활용 가능성을 높이며 글로벌 경쟁력 강화를 이어가겠다"고 말했다.</p> </section> </div> <p class="" data-translation="true">Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.</p> 관련자료 이전 SKT '토큰 게이트웨이' 뛰어든다…정재헌 대표 “AI·통신 결합해 토큰 경제 선점” 10-08 다음 "韓 금융권 해킹범, 중국 거주 26세 추정" 10-08 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
