[AI픽] 터보퀀트 충격…KAIST 교수 "SW가 AI 판 바꿨다" 작성일 03-30 35 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">KV 캐시 6분의 1 압축…정확도 손실 없이 효율 확보<br>알고리즘 혁신이 GPU·메모리 시장까지 영향</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="xXUcmgB3tI"> <figure class="figure_frm origin_fig" contents-hash="25628a3a7213a6a2cb55ec2afe7438dd28384fc63129791d01535bc7ad9f88c0" dmcf-pid="yJAuKFwatO" dmcf-ptype="figure"> <p class="link_figure"><img alt="한인수 KAIST 교수 [KAIST 제공. 재판매 및 DB 금지]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202603/30/yonhap/20260330164353564dbht.jpg" data-org-width="500" dmcf-mid="Qvs2PqlwHC" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202603/30/yonhap/20260330164353564dbht.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 한인수 KAIST 교수 [KAIST 제공. 재판매 및 DB 금지] </figcaption> </figure> <p contents-hash="99b7dbc2dd589863eb5b7c1d5007af495508d2a2075f336b8976fe2dc4709ae5" dmcf-pid="Wic793rNXs" dmcf-ptype="general">(서울=연합뉴스) 조승한 기자 = 구글이 최근 공개한 메모리 압축 기술 '터보퀀트'가 주목받는 가운데, 이 기술의 핵심 알고리즘 개발에 참여한 한인수(34) 한국과학기술원(KAIST) 교수는 30일 온라인 설명회에서 "소프트웨어가 하드웨어 시장에 더 큰 영향을 미치면서 소프트웨어의 중요성이 각인되지 않았나 한다"고 말했다.</p> <p contents-hash="bc7d395d8ae627d25d455b1518d5e6514730035481ccd337084c28ddbf6b0281" dmcf-pid="Ynkz20mjGm" dmcf-ptype="general">구글이 지난 25일 공개한 터보퀀트는 앞서 지난해 4월 논문 사전공개사이트 '아카이브'에 공개됐다. 다음 달 브라질에서 열리는 '국제표현학습학회(ICLR) 2026'에서 발표 예정이다.</p> <p contents-hash="c80bd39d01286230f4bf9c8848e43382e77bdbb2d042b41b6f671da4a5e5462c" dmcf-pid="GLEqVpsAYr" dmcf-ptype="general">한 교수는 터보퀀트 논문에 직접 참여하지는 않았지만, 터보퀀트가 차용한 알고리즘의 핵심인 폴라퀀트와 QJL(Quantized Johnson-Lindenstrauss) 기법 개발을 주도했다.</p> <p contents-hash="2e29020da1bb4b7c101d3ba11ff42519af20352e796f1fcd73450252b525cd58" dmcf-pid="HoDBfUOcYw" dmcf-ptype="general">한 교수에 따르면 터보퀀트는 모델이 이전 대화 내용을 기억해 다음 답변에 활용하는 임시 메모리인 'KV 캐시'를 정확도 손실 없이 압축해 메모리 사용량을 6분의 1로 줄였다.</p> <p contents-hash="8b9f84186e82ef6a2215891f33302131bb0b99070da64e9ecd8c021fc956584a" dmcf-pid="Xgwb4uIk1D" dmcf-ptype="general">터보퀀트는 강하게 압축하고, 남는 오차를 정교하게 보정하는 2단계 기법을 결합해 효율과 정확도를 높였다.</p> <p contents-hash="3c64bfa8b4948a1b37fcf9b3508f0b2d4dbcb2190d1786f1d71912ecbad437d9" dmcf-pid="Z7fhWmQ9HE" dmcf-ptype="general">폴라퀀트는 입력 데이터를 무작위로 회전시킨 뒤 극좌표로 변환하는 기술로, 터보퀀트는 폴라퀀트가 증명한 무작위 회전 후 데이터 분포가 특정 형태 각도로 집중된다는 원리를 활용해 최적화에 활용했다.</p> <p contents-hash="0bbc0062efed6365360b5f1cabc867ca1a54b23d4213ea0862d97f92ec438d63" dmcf-pid="5z4lYsx2Gk" dmcf-ptype="general">기존에 알려진 것과 달리 터보퀀트는 극좌표를 활용하지는 않는다고 한 교수는 설명했다.</p> <p contents-hash="ccafecb7b91693d9e772f3ce85764cf683b4c15b8af658d804d5b62d92218a0a" dmcf-pid="1q8SGOMVHc" dmcf-ptype="general">여기에 양자화를 복구한 후 원값과 오차인 '잔차'를 1비트 양자화해 저장하는 QJL 기법으로 보정해 편향성을 줄이고 정확도는 높였다.</p> <p contents-hash="9fe3e694e496430a48ed548a8429824b3a8f24164627a19c749161abbb264f40" dmcf-pid="tB6vHIRfXA" dmcf-ptype="general">이를 통해 장기 문맥 벤치마크(AI 성능평가)에서 3.5비트 압축에도 성능 저하가 없음을 선보였고, 엔비디아 H100 그래픽처리장치(GPU)에서 32비트 대신 4비트를 적용하면 속도를 8배 향상할 수 있음도 선보였다.</p> <p contents-hash="2ab7d881a7914dc32f7dd9659578a35a6f6a8787f61daacd99d0d90cf8b047fc" dmcf-pid="FbPTXCe4Hj" dmcf-ptype="general">한 교수는 터보퀀트가 별도 학습 없이 기존 AI 모델에 적용할 수 있고, KV 캐시뿐 아니라 검색 기반 추천 시스템이나 검색증강생성'(RAG) 등 다양한 벡터 기반 시스템에도 활용할 수 있는 범용 기술이라고 소개했다.</p> <p contents-hash="619648ddafa008db532f2ebf8dec12dad3e9ec4da911af10faf377413dd76275" dmcf-pid="3KQyZhd8YN" dmcf-ptype="general">구글리서치 방문 연구원을 겸직하고 있는 그는 "회사 내부에서 어떻게 이용되는지 구체적으로 말하기는 어렵지만, 온라인에서 이미 터보퀀트를 구현해 공개하고 있다"며 "기술을 정확히 이해하면 구현하고 AI에 적용하는 것은 어렵지 않을 것"이라고 전망했다.</p> <p contents-hash="56352a406a9545a0b8cd6e743f04246e334ceb4c0d59013190f8afb070e7be27" dmcf-pid="09xW5lJ6Ga" dmcf-ptype="general">한 교수는 KAIST 전기 및 전자공학부 학사, 석사, 박사 학위를 취득한 후 2024년 같은 학과 교수로 부임했다.</p> <p contents-hash="7d594dfb03927b5342ad1fe892c57eb89e9fde73155add0eb72ce6a4fe6a7f50" dmcf-pid="p2MY1SiPGg" dmcf-ptype="general">부임 이후 폴라퀀트 연구를 시작했지만, 자신을 포함한 공동 연구자 모두 메모리 효율에 집중했을 뿐 하드웨어 등에 미칠 영향은 전혀 고려치 않았었다고 설명했다.</p> <p contents-hash="6e210f43aa4f001c5c7c5cb1e24277ab82afcb918848147f6ac0457cf1634f01" dmcf-pid="UVRGtvnQ1o" dmcf-ptype="general">그는 "좋은 알고리즘 하나로 AI 시스템을 효율화하면 하드웨어와 메모리 시장까지 영향을 줄 수 있다는 것에 놀랐다"며 "소프트웨어가 하드웨어 시장에 더 큰 영향을 미치면서 소프트웨어와 하드웨어가 함께 최적화해야 실제 AI 효율에 기여할 수 있음을 보인 것"이라고 강조했다.</p> <p contents-hash="89eeffb414f592690303700792cf5d20f5e2706bb4ba15d5b40a5b27d62eb3d0" dmcf-pid="ufeHFTLx1L" dmcf-ptype="general">shjo@yna.co.kr</p> <p contents-hash="74d20b6ef364bfa3c0d8537d95e5cf2dc7bc0ae924ac8d96541841605afba691" dmcf-pid="z8JZ0WgR5i" dmcf-ptype="general">▶제보는 카톡 okjebo</p> </section> </div> <p class="" data-translation="true">Copyright © 연합뉴스. 무단전재 -재배포, AI 학습 및 활용 금지</p> 관련자료 이전 지자체도 AI 정책 열중…빛좋은 개살구 우려, 문제는 ‘지속 가능성’ 03-30 다음 월드컵도 지상파에서 못보나…방미통위 "시청권은 공적 책임"(종합) 03-30 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
