카카오, AI 학습비용 1%로 최적값 찾았다…카나나 10조 토큰 학습 적용 작성일 10-08 52 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">COLM 2026서 대규모 MoE 학습 최적화 성과 공개<br>전체 학습비용 약 1%로 최적 학습률 예측<br>‘카나나 2.6’ 사전학습에 적용…10조 토큰 안정 학습<br>BBT로 모델 40.4% 줄이고 성능 최대 6.6% 개선</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="5c8aOrV7mo"> <p contents-hash="52629d1074e64f8816da3d89968a125c5dc6e88ab90be372a01b9c06c958b6a4" dmcf-pid="1k6NImfzmL" dmcf-ptype="general"> [이데일리 이소현 기자] 카카오(035720)가 대규모 인공지능(AI) 모델의 학습비용을 줄이면서 안정성을 높이는 최적화 기술을 공개했다. 전체 학습비용의 약 1% 수준만으로 최적의 학습률을 예측해 실제 ‘카나나(Kanana)’ 모델 사전학습에 적용했고, 별도 연구에서는 모델 크기를 최대 40.4% 줄이면서 테스트 성능을 최대 6.6% 개선했다.</p> <p contents-hash="5c7114ee9868d42e781e9124a786c16f5d6971f9149dd0998feb51552acd84e1" dmcf-pid="tEPjCs4qwn" dmcf-ptype="general">카카오는 언어모델링 국제학회 ‘COLM(Conference on Language Modeling) 2026’에서 대규모 전문가 혼합(MoE·Mixture-of-Experts) 모델의 학습 효율을 높이는 기술과 모델 경량화 연구 성과를 발표했다고 8일 밝혔다.</p> <p contents-hash="6eb59c97cf2c8b72a62341ed68aad2406a5f47021e9e67f9c76010831c0809fd" dmcf-pid="FDQAhO8BIi" dmcf-ptype="general">COLM은 대규모언어모델(LLM)과 언어모델링 연구를 전문적으로 다루는 국제학회로 2024년 신설됐다. 카카오는 이번 학회 메인 컨퍼런스와 토크나이제이션(Tokenization) 워크숍 ‘TokShop’에서 각각 연구 결과를 공개했다.</p> <figure class="figure_frm origin_fig" contents-hash="4d41c817585069d43864671311d42760b67e3a9c56f46c26456d2af46049e925" dmcf-pid="3wxclI6bmJ" dmcf-ptype="figure"> <p class="link_figure"><img alt="카카오, AI 학습비용 1%로 최적값 찾았다…카나나 10조 토큰 학습 적용" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/08/Edaily/20261008093959628ciqe.jpg" data-org-width="1280" dmcf-mid="ZByu8VSrIg" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/08/Edaily/20261008093959628ciqe.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 카카오, AI 학습비용 1%로 최적값 찾았다…카나나 10조 토큰 학습 적용 </figcaption> </figure> <div contents-hash="b3de77ed7ce61ebedf9337fcbed04b7f17ec04d9c079a3f4407b7f3c1d59e2d0" dmcf-pid="0hnsGyd8Od" dmcf-ptype="general"> <strong>학습비용 약 1%로 최적 학습률 예측</strong> </div> <p contents-hash="8620ba864e9f7ecbc5e9da7e3e8a37c6308fc4e6a224d7592d05fb59f2803a30" dmcf-pid="plLOHWJ6De" dmcf-ptype="general">메인 컨퍼런스에서는 대규모 MoE 모델의 사전학습에 필요한 최적 학습률을 전체 학습비용의 약 1% 수준으로 예측하는 방법론을 발표했다.</p> <p contents-hash="f37a85cdddd6d623b3cde77358d35e0aab0581d4b815a855695fd2e3e7954e91" dmcf-pid="USoIXYiPwR" dmcf-ptype="general">학습률은 AI 모델이 학습 과정에서 내부 매개변수를 얼마나 크게 조정할지를 정하는 값이다. 너무 높으면 학습이 불안정해질 수 있고, 너무 낮으면 학습 속도가 느려질 수 있어 적절한 값을 찾는 과정이 중요하다.</p> <p contents-hash="d1915ffb6c57ff110dac44c029f9bb8b9f54354f7388d047ad2eeeca31fd2f91" dmcf-pid="uvgCZGnQOM" dmcf-ptype="general">MoE 모델은 여러 전문가 모듈 가운데 입력에 필요한 일부만 선택해 연산하는 구조로 최근 고성능 LLM에서 활용이 늘고 있다. 다만 기존 밀집형(Dense) 모델보다 학습 설정에 관한 공개 연구가 상대적으로 부족해 대규모 학습 과정에서 시행착오와 비용 부담이 커질 수 있다.</p> <p contents-hash="59b6d924e86ed6145e3fd0bc256f778f6f27c1c0e5b72f55d662beb8fa4dbb86" dmcf-pid="7Tah5HLxsx" dmcf-ptype="general">카카오는 소규모 모델에서 찾은 최적 학습 설정을 대규모 모델로 확장하는 ‘뮤-매개변수화(μ-Parameterization)’ 기법을 MoE 구조에 맞게 적용했다.</p> <p contents-hash="80f30dc913bfccfb398d2f4c04de9d9ed31ed3df4c5b7ad39e21f5a8153a1568" dmcf-pid="zyNl1XoMOQ" dmcf-ptype="general">모델 크기와 학습 토큰량을 단계적으로 늘려가며 최적 학습률을 탐색하고, 짧은 학습 구간에서 찾은 설정이 대규모 학습에서도 유효한지를 검증했다.</p> <p contents-hash="72ae57538f3e61dcd35d2efad1db106a6ca6a11fa4a3b8490d007692b9d1807e" dmcf-pid="qWjStZgRwP" dmcf-ptype="general">이 방법은 카카오의 ‘Kanana-2.6-155b-a17b’ 모델 사전학습에 실제 적용돼 10조(10T) 토큰까지 안정적으로 학습하는 데 활용됐다.</p> <p contents-hash="3f370617b53355bc41d477bc2c5057cbf8b3c3772260e41febeca5462c69cfd6" dmcf-pid="BYAvF5aeO6" dmcf-ptype="general"><strong>모델 40.4% 줄이고 성능 최대 6.6%↑</strong></p> <p contents-hash="b15aa1638e9ca8179b0f209ef46a1573794cb87692e6eb2a446971f1c954ede8" dmcf-pid="bGcT31NdD8" dmcf-ptype="general">토크나이제이션 워크숍 ‘TokShop’에서는 모델 크기를 줄이면서 성능을 높이는 ‘BBT(BPE-Guided Byte Transformer)’ 연구를 공개했다.</p> <p contents-hash="cf166d512ed5144e1dc00596cc19aa7ec85da9270779e06c0194a2569a3d3823" dmcf-pid="KHky0tjJr4" dmcf-ptype="general">기존 BPE(Byte Pair Encoding) 기반 모델은 텍스트를 단어나 단어 조각 형태의 토큰으로 나눠 처리한다.</p> <p contents-hash="eadf446d51896857c38ff4726008e46980384b571707751db96ddf86dfadeb79" dmcf-pid="9wxclI6bsf" dmcf-ptype="general">BBT는 이를 더 작은 기본 단위인 ‘바이트(Byte)’ 기반 구조로 바꾸면서도 여러 문자를 효율적으로 묶어 처리하는 기존 BPE 방식의 장점을 유지하도록 설계했다.</p> <p contents-hash="b50f18bb34f5b92494cac7113c368f6d2c9b67209bd6a64505082b1cc90ab610" dmcf-pid="2rMkSCPKDV" dmcf-ptype="general">비교 실험에서는 파라미터 수를 20.2~40.4% 줄이면서 테스트 성능을 2.7~6.6% 개선했다.</p> <p contents-hash="ccd84851cdf526871792f654cbda66bfd51f01dbafcebb4c4d9ac757c0848e0f" dmcf-pid="VmREvhQ9r2" dmcf-ptype="general">오탈자나 문자 교란에도 보다 안정적인 성능을 보였고, 학습하지 않은 언어로의 전이 성능도 향상됐다고 카카오는 설명했다.</p> <p contents-hash="729bdf63d631e745d3b311d8b38ebd916d91ee9c86741c350d8e2042e93754d4" dmcf-pid="fseDTlx2E9" dmcf-ptype="general">카카오는 BBT를 통해 온디바이스 환경에서 모델의 메모리 부담을 줄이고, 다국어 입력이나 오탈자가 잦은 대화 환경에서도 활용도를 높일 수 있을 것으로 보고 있다.</p> <p contents-hash="9cc9ef2d58678c7e18afb886ad778219d9273193a0ceffc06c819706c87f2244" dmcf-pid="4OdwySMVEK" dmcf-ptype="general">카카오는 앞으로 연구 적용 범위를 다양한 모델 구조로 확대하고, 멀티모달과 다국어 환경에서도 효율성을 높이는 방향으로 기술을 고도화할 계획이다.</p> <p contents-hash="b2d34f51208122285737a66c4a1c7f732e828af309f40340f7b930e5815820f6" dmcf-pid="8IJrWvRfIb" dmcf-ptype="general">카카오 관계자는 “이번 연구는 AI 모델의 성능을 유지하거나 높이면서 학습 및 운영 비용을 낮출 수 있는 실용적인 방법을 제시했다는 데 의미가 있다”며 “앞으로 다양한 모델 구조와 멀티모달·다국어 환경으로 연구를 확장해 실제 서비스 활용 가능성을 높여가겠다”고 말했다.</p> <p contents-hash="794ec9cd09200b1ca72db787d6a01b51afc1e6858cfad51b094efeda642d5381" dmcf-pid="6CimYTe4DB" dmcf-ptype="general">이소현 (atoz@edaily.co.kr) </p> </section> </div> <p class="" data-translation="true">Copyright © 이데일리. 무단전재 및 재배포 금지.</p> 관련자료 이전 채용공고도 이력서도 쏟아진다…'귀한 몸' 된 반도체 경력직 10-08 다음 누리호 타고 우주 간 국산 반도체…우주검증위성 2호기 교신 성공 10-08 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
