AI 학습, 10→3시간으로…의료·코딩 AI 더 빨리 만든다 작성일 11-03 18 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">KAIST, 대규모 언어모델 미세 조정 기술 개발</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="zzVl91jJlw"> <figure class="figure_frm origin_fig" contents-hash="7450b51f74ebbd9cb0c5fdb13974eda9fe8cf2a59703e7fe58a4191f959a2bea" dmcf-pid="qPJ1ebCElD" dmcf-ptype="figure"> <p class="link_figure"><img alt="이재길 한국과학기술원(KAIST) 전산학부 교수 연구팀에서 개발한 군집 기반 균형 데이터 선별 및 배분 방법론의 작동 개념도. 사진 제공=KAIST" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/03/seouleconomy/20261103053309648sqft.png" data-org-width="636" dmcf-mid="7mgpLfTslr" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/03/seouleconomy/20261103053309648sqft.png" width="658"></p> <figcaption class="txt_caption default_figure"> 이재길 한국과학기술원(KAIST) 전산학부 교수 연구팀에서 개발한 군집 기반 균형 데이터 선별 및 배분 방법론의 작동 개념도. 사진 제공=KAIST </figcaption> </figure> <p contents-hash="bb5f3fddbc657669a1e66f757a94aa58ae7734013a7085a89448d3cc49ce764b" dmcf-pid="BQitdKhDhE" dmcf-ptype="general">10시간이 걸리던 인공지능(AI)의 학습 시간을 3시간 수준으로 대폭 단축시키는 기술을 국내 연구진이 개발했다.</p> <p contents-hash="0ebb5c804d3ccb2baa77031e2941744a3db27e959b94d1c32aa8a57f71569f4a" dmcf-pid="bxnFJ9lwWk" dmcf-ptype="general">한국과학기술원(KAIST)은 이재길 전산학부 교수 연구팀이 학습에 비슷한 영향을 주는 데이터를 묶어 선별하고 여러 그래픽처리장치(GPU)에 고루 배분하는 대규모 언어모델 미세 조정 기술 ‘클러스터(CluSTER)’를 개발했다고 2일 밝혔다.</p> <p contents-hash="f3cde1e4a6fcbd2dfff8e1297fce19f346e86a3554dfb7750208b8bbd4134949" dmcf-pid="KML3i2SrWc" dmcf-ptype="general">대규모 언어모델을 코딩·의료 등 특정 분야에 활용하려면 관련 자료를 추가로 학습시켜야 하는데 이를 미세 조정이라고 한다. 폭넓은 지식을 갖춘 AI에게 코딩 문제나 풀이, 의료 분야 질문·답변 등을 공부시켜 해당 분야의 일을 더 잘하도록 만드는 과정인 셈이다. 이때 GPU들은 여러 사람이 많은 문제를 나눠 푸는 것처럼 학습 자료를 나눠 처리하고 그 결과를 합쳐 하나의 AI 모델을 개선한다.</p> <p contents-hash="b3d03774daaa041bf29f2ff519c90f909863f1f03f8e83321b7117d97b07cd89" dmcf-pid="9Ro0nVvmvA" dmcf-ptype="general">문제는 자료를 무작위로 나누면 학습 효과가 비슷한 데이터를 여러 GPU가 반복해서 처리하고 효율이 떨어질 수 있다는 점이다. 학생이 이미 풀이를 익힌 문제와 비슷한 문제만 계속 푸는 것처럼 계산량에 비해 추가로 얻는 학습 효과가 작아질 수 있다는 의미다.</p> <p contents-hash="9f64e631edd27a23679c1390a08ed259b942902f2132d8ea5cf7856a890b4bb9" dmcf-pid="2egpLfTsyj" dmcf-ptype="general">이에 연구팀은 반복 학습은 줄이면서 AI가 배워야 할 다양한 정보를 놓치지 않을 수 있도록 각 데이터가 AI 학습에 미치는 영향을 분석해 비슷한 데이터끼리 묶었다. 겉보기에 다른 문제처럼 보여도 AI에게 비슷한 풀이 능력을 가르친다면 같은 묶음으로 분류하는 방식을 사용한 것이다.</p> <p contents-hash="fc41311710b2fbada73e07c2e0e63641d4b81047a47e1e38183e11edb9d0091b" dmcf-pid="VdaUo4yOlN" dmcf-ptype="general">이후 연구팀은 각 묶음에서 데이터를 선별하고 여러 GPU가 다양한 학습 정보를 골고루 처리하도록 배분했다. 문제집에서 비슷한 문제는 줄이되 꼭 익혀야 할 여러 유형의 문제는 남겨 GPU들이 나눠 풀도록 한 셈이다.</p> <p contents-hash="983b59549609bffc8495e01905cda676911a85e5d9167203dcd2fa1ce86a3345" dmcf-pid="fJNug8WIya" dmcf-ptype="general">구체적으로 연구팀은 GPU 4개를 사용하는 환경에서 코딩·의료 분야의 학습 데이터 3종을 활용해 약 70억 개와 130억 개의 매개변수를 가진 대규모 언어모델을 미세 조정했다. 매개변수는 AI가 학습하면서 조정하는 내부 수치로 학습한 지식을 답변에 반영하는 데 쓰인다. 연구팀은 이후 총 8개의 성능 평가 시험을 통해 기술의 효과를 확인했다.</p> <p contents-hash="70d1757d15e9146b807585d9aef8095a948e052e3b397df4e161bf140cdc6e05" dmcf-pid="4ij7a6YClg" dmcf-ptype="general">실험 결과 전체 데이터의 약 31%만 선별해 학습해도 모델 성능을 거의 유지했으며 학습 시간은 최대 69.6% 단축되는 것으로 나타났다. 기존에 10시간이 걸리던 학습을 약 3시간 만에 마칠 수 있는 수준이다.</p> <p contents-hash="1cb750b41b9f70ba9d5daf36dd97b1914dd5a7b41e9f9836cb4b9e013d063199" dmcf-pid="8DC6OoUZho" dmcf-ptype="general">이 교수는 “AI 학습의 효율을 높이기 위해서는 GPU를 더 많이 사용하는 것뿐만 아니라 어떤 데이터를 학습할지 똑똑하게 선택하는 것도 중요하다”며 “이번 연구는 기존 GPU 자원을 더 효율적으로 활용해 대규모 AI 모델의 학습 부담을 줄일 수 있다는 점에서 의미가 있다”고 말했다. KAIST 측은 “향후 기업과 연구 기관이 코딩 지원이나 의료 분야의 질문·답변 등 특정 목적에 맞는 AI를 개발할 때 추가 학습에 드는 시간과 GPU 사용 비용을 줄이는 데 도움이 될 것으로 기대된다”고 밝혔다.</p> <p contents-hash="396788bf64f04b524a1fd32cfd16555176bc9650b14f4a50478fe6e284d5cc39" dmcf-pid="6whPIgu5yL" dmcf-ptype="general">조윤진 기자 jo@sedaily.com</p> </section> </div> <p class="" data-translation="true">Copyright © 서울경제. 무단전재 및 재배포 금지.</p> 관련자료 이전 사용량 조이려던 오픈AI·앤트로픽 "앗 뜨거"…이용자 반발에 후퇴 11-03 다음 라운즈, 美 안경원에 AI 쇼핑기기 공급…日 시장도 공략 11-03 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
