"10시간 걸리던 AI 학습, 3시간이면 끝"…KAIST, 학습 효율 높였다 작성일 11-02 8 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">보도기사</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="toYYFJFYFN"> <p contents-hash="1e0aa51d2c8b79ef7123bdf33471cd2c4fdc8f30f961af496b247b357c1d3806" dmcf-pid="FgGG3i3GFa" dmcf-ptype="general">학습 데이터 31%만 활용해도 AI 성능 거의 유지…학습 시간 최대 69.6% 단축<br>비슷한 학습 자료 선별하고 GPU에 고르게 배분…AI 개발 시간·비용 절감 기대</p> <figure class="figure_frm origin_fig" contents-hash="e4001d2bc219e3d55513ded22e3e0b879f2ad020604a717162508c39a6f42d59" dmcf-pid="3aHH0n0H3g" dmcf-ptype="figure"> <p class="link_figure"><img alt="연구 설명(AI 생성 이미지)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/02/551724-22lyJQR/20261102091401310ylfg.jpg" data-org-width="600" dmcf-mid="ZsDDhKhD7c" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/02/551724-22lyJQR/20261102091401310ylfg.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 연구 설명(AI 생성 이미지) </figcaption> </figure> <p contents-hash="8432ee4bf4b69b938a23c3ff26b030848987a6a880630312fb77c5898e3abe75" dmcf-pid="0kttzNzt7o" dmcf-ptype="general"><br>인공지능(AI)에 코딩이나 의료 등 특정 분야의 전문지식을 가르치는 데 걸리는 시간을 획기적으로 줄일 수 있는 기술이 개발됐습니다. 기존에 10시간이 걸리던 추가 학습을 약 3시간 만에 마칠 수 있는 수준으로, AI의 성능은 거의 유지하면서 학습에 필요한 시간과 비용을 크게 줄일 수 있을 것으로 기대됩니다.</p> <p contents-hash="3cf378a65ba2e5633bef4592ffa840df61715bb71681199df36bb735755eb2d3" dmcf-pid="pEFFqjqFUL" dmcf-ptype="general">KAIST는 전산학부 이재길 교수 연구팀이 AI 학습에 비슷한 영향을 주는 데이터를 선별하고, 이를 여러 그래픽처리장치(GPU)에 효율적으로 배분하는 대규모 언어모델 미세조정 기술 'CluSTER(클러스터)'를 개발했다고 2일 밝혔습니다.</p> <p contents-hash="678ba0d8738979635079dfdd4d9fb79dc6dbdb2ea9a3b396604d7401aa4acccd" dmcf-pid="UD33BAB37n" dmcf-ptype="general">◆ 비슷한 문제 반복 학습 줄인다…AI 학습 방식 개선</p> <p contents-hash="4f79838eb57543d4b049fc14f584039e79e87ce65ede0b51ae584bdb0b5250ef" dmcf-pid="uw00bcb00i" dmcf-ptype="general">챗GPT와 같은 대규모 언어모델을 코딩이나 의료 등 특정 분야에 활용하려면 해당 분야의 자료를 추가로 학습시키는 과정이 필요합니다. 이를 '미세조정'이라고 하는데, 다양한 지식을 갖춘 AI가 전문적인 질문에 더 정확하게 답하도록 특정 분야의 지식을 추가로 가르치는 과정입니다.</p> <p contents-hash="fa26f6b6a71ea7f45936d27ff9a0a6ed45a6b9fe5ce4d13a2d28bf7b0f2d89f7" dmcf-pid="7rppKkKpFJ" dmcf-ptype="general">문제는 막대한 계산량입니다.</p> <p contents-hash="1089c0d77db3dffdf0695cefb0027af519ea6a641fc84f58e96e16bf8e342d5b" dmcf-pid="zmUU9E9Uud" dmcf-ptype="general">일반적으로 여러 GPU가 학습 자료를 나눠 처리하지만, 데이터를 무작위로 배분하면 학습 효과가 비슷한 자료를 여러 GPU가 중복해서 처리할 수 있습니다. 학생이 이미 익힌 유형의 문제를 반복해서 푸는 것처럼, 많은 시간을 들여도 추가로 얻는 학습 효과는 크지 않을 수 있는 겁니다.</p> <div contents-hash="79220b693a0eea070cde118381e8dddba832512e67554331afea868efe5ab110" dmcf-pid="qsuu2D2uze" dmcf-ptype="general"> 연구팀은 이 같은 비효율을 줄이기 위해 학습 데이터의 양뿐 아니라 어떤 데이터를 선택하고 어떻게 나눠 학습시키는지가 중요하다는 점에 주목했습니다. </div> <figure class="figure_frm origin_fig" contents-hash="927816875bd51bf8781cad285d1b281bf980900ebd603c838db8478db318a8d3" dmcf-pid="BO77VwV70R" dmcf-ptype="figure"> <p class="link_figure"><img alt="연구팀서 개발한 군집 기반 균형 데이터 선별 및 배분 방법론의 작동 개념도" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/02/551724-22lyJQR/20261102091401475nbba.png" data-org-width="636" dmcf-mid="5lEECbCE7A" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/02/551724-22lyJQR/20261102091401475nbba.png" width="658"></p> <figcaption class="txt_caption default_figure"> 연구팀서 개발한 군집 기반 균형 데이터 선별 및 배분 방법론의 작동 개념도 </figcaption> </figure> <div contents-hash="6d51873d36188b363c341d18c0fc4bd2d56b31b0d81a84b54b118dce88a8af09" dmcf-pid="bIzzfrfzzM" dmcf-ptype="general"> <div> <br>◆ 학습 효과 비슷한 자료 묶고 GPU에 골고루 배분 <br> <br>연구팀이 개발한 CluSTER는 먼저 각각의 데이터가 AI 학습에 어떤 영향을 미치는지 분석한 뒤 비슷한 효과를 내는 자료끼리 묶습니다. <br> <br>단순히 같은 단어를 사용하거나 주제가 비슷하다는 이유로 분류하는 것은 아닙니다. 겉으로는 서로 다른 문제라도 AI가 배우는 능력이 비슷하다면 같은 묶음으로 분류하는 방식입니다. <br> <br>예를 들어 '사과 두 개와 세 개를 합치는 문제'와 '연필 두 자루와 세 자루를 합치는 문제'는 표현은 다르지만 모두 덧셈이라는 같은 계산 능력을 가르칩니다. <br> <br>CluSTER는 이처럼 학습 효과가 비슷한 자료를 찾아 묶은 뒤, 각 묶음에서 필요한 데이터를 선별합니다. 이후 여러 GPU가 서로 다른 유형의 학습 정보를 골고루 처리하도록 데이터를 배분합니다. <br> <br>비슷한 문제를 반복해서 풀기보다는 다양한 유형의 문제를 효율적으로 학습하도록 설계한 것입니다. 이를 통해 데이터 처리량을 줄이면서도 AI가 배워야 할 핵심 정보를 놓치지 않도록 했습니다. <br> <br>◆ 학습 시간 최대 69.6% 단축…AI 성능은 거의 유지 <br> <br>연구팀은 기술의 효과를 확인하기 위해 코딩과 의료 분야의 학습 데이터 3종을 활용했습니다. <br> <br>실험에는 약 70억 개와 130억 개의 매개변수를 가진 대규모 언어모델을 사용했으며, 모두 8개의 성능 평가 시험을 진행했습니다. 그 결과 전체 학습 데이터의 약 31%만 사용해도 기존 모델의 성능을 거의 유지할 수 있는 것으로 나타났습니다. <br> <br>특히 학습 시간은 최대 69.6% 단축됐습니다. 최대 단축률을 적용하면 기존에 10시간이 걸리던 학습을 약 3시간 만에 끝낼 수 있는 수준입니다. <br> <br>GPU 4개를 사용하는 환경을 중심으로 진행된 실험에서 이 같은 효과를 확인했으며, GPU 8개를 활용한 환경에서도 기존 방식보다 우수한 성능을 보였습니다. <br> <br>이번 연구는 GPU를 무조건 늘리지 않더라도 학습 데이터를 효율적으로 선택하고 배분하면 AI 학습에 필요한 시간과 계산량을 크게 줄일 수 있다는 점에서 의미가 있습니다. </div> </div> <figure class="figure_frm origin_fig" contents-hash="1819fdd342ed401be1a575ea73c733e73bdf1f4976688f0801317f7badf66706" dmcf-pid="KCqq4m4qpx" dmcf-ptype="figure"> <p class="link_figure"><img alt="왼쪽부터 KAIST 전산학부 김현진 박사과정, 전산학부 이재길 교수. 우측 상단 개별 사진은 왼쪽부터 토론토대학교 남영은 박사후연구원, KAIST 데이터사이언스대학원 한재민 석사과정, KAIST 데이터사이언스대학원 최원혁 석사과정" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/02/551724-22lyJQR/20261102091401622xqtl.jpg" data-org-width="397" dmcf-mid="1Rbb6O6bpj" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/02/551724-22lyJQR/20261102091401622xqtl.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 왼쪽부터 KAIST 전산학부 김현진 박사과정, 전산학부 이재길 교수. 우측 상단 개별 사진은 왼쪽부터 토론토대학교 남영은 박사후연구원, KAIST 데이터사이언스대학원 한재민 석사과정, KAIST 데이터사이언스대학원 최원혁 석사과정 </figcaption> </figure> <div contents-hash="e58c36ba5ef7426342e0af56480ca71feec580c0f3bed3c1de752683878fea35" dmcf-pid="9O77VwV7pQ" dmcf-ptype="general"> <div> <br>◆ AI 개발 비용 절감 기대…의료·코딩 등 활용 가능성 <br> <br>연구팀은 이번 기술이 기업과 연구기관의 맞춤형 AI 개발에 활용될 수 있을 것으로 기대하고 있습니다. 기업별 고객 상담이나 코딩 지원, 의료 분야의 질문·답변 등 특정 목적에 맞는 AI를 개발할 때 추가 학습에 드는 시간을 단축하고 GPU 사용 비용을 줄일 수 있기 때문입니다. <br> <br>특히 AI 개발에 필요한 컴퓨팅 자원이 제한된 환경에서도 기존 자원을 보다 효율적으로 활용할 수 있을 것으로 전망됩니다. <br> <br>이재길 교수는 "AI 학습의 효율을 높이기 위해서는 GPU를 더 많이 사용하는 것뿐 아니라, 어떤 데이터를 학습할지 똑똑하게 선택하는 것도 중요하다"며 "이번 연구는 기존 GPU 자원을 더 효율적으로 활용해 대규모 AI 모델의 학습 부담을 줄일 수 있다는 점에서 의미가 있다"고 말했습니다. </div> </div> <p contents-hash="696b4e09441f5c18832f2ac749aca9191b0bf3f1cb6e67843e2b0aa2a8ff00e2" dmcf-pid="2IzzfrfzpP" dmcf-ptype="general">(사진=KAIST) </p> <p contents-hash="2b0268d08e61cfe0a1196eecdb3a544c9c54a7ec6b9ed0b12e1786239df01dd9" dmcf-pid="VCqq4m4qz6" dmcf-ptype="general">조형준 취재 기자 | brotherjun@tjb.co.kr</p> </section> </div> <p class="" data-translation="true">Copyright © TJB </p> 관련자료 이전 삼성전자, 아프리카 진출 31년 만에 스마트폰 1위…'현지 맞춤 전략' 통했다 11-02 다음 KT, 삼성전자와 AI로 야구장 통신망 혼잡 줄인다 11-02 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
