류기동 ECS텔레콤 박사, 콜봇용 소형 LLM 평가체계 연구 논문 발표 작성일 06-10 16 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="QpvOAggRDT"> <p contents-hash="856412c376191b89f57b47267699e6f7ecea4e589207b2200638b6c25820280a" dmcf-pid="xUTIcaaerv" dmcf-ptype="general"> [이데일리 김호준 기자] ECS텔레콤의 AI 연구를 이끄는 류기동 박사가 지난 5월 28일 한국지능정보시스템학회 춘계학술대회에서 콜센터용 소형 언어모델(sLLM) 평가체계에 관한 연구 논문을 발표했다. </p> <figure class="figure_frm origin_fig" contents-hash="933b656662369062d635c5e8196c59cd1408fb8efab306da16bc7c2ccb79e354" dmcf-pid="yAQVu33GOS" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/10/Edaily/20260610092939146pzsq.jpg" data-org-width="700" dmcf-mid="Pmix9qqFsy" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/10/Edaily/20260610092939146pzsq.jpg" width="658"></p> </figure> <div contents-hash="dbe8da8f1ecbe10c84c0fcf2bb3704759a611ddee8b37bef484d7e80b36d6d7c" dmcf-pid="Wcxf700HDl" dmcf-ptype="general"> 이번 연구는 콜봇 환경에 최적화된 소형 LLM의 품질을 체계적으로 평가할 수 있는 프레임워크와 평가셋 설계 방법을 제안하며, ECS텔레콤은 핵심 기술에 대한 특허 출원을 완료했다. 향후 평가 프레임워크와 실증 데이터를 학술 커뮤니티와 단계적으로 공유할 계획이다. </div> <p contents-hash="477d3321f4f463b0bb2ae23fa5569ff0bf6c1a9e7fc96987ec42350c65b37e58" dmcf-pid="YkM4zppXDh" dmcf-ptype="general">최근 ChatGPT, Claude, Gemini 등 대형 상용 LLM과 1B~35B 규모의 중소형 언어모델이 빠르게 확산되면서 기업들의 생성형 AI 도입 결정은 더욱 복잡해지고 있다. 특히 콜봇은 단순 문장 생성 능력뿐 아니라 음성 대화 흐름, 지식 기반 응답 정확성, 부적절 응답 거부, 상담 시나리오 적합성, 지연시간 등 운영 환경에 특화된 품질 검증이 필수적이다.</p> <p contents-hash="5ca49c353dc301c3bd15cf4f8af2b47b8877fefc2e5f211a8a983eba21643807" dmcf-pid="GER8qUUZrC" dmcf-ptype="general">류기동 박사는 ‘MMLU, GSM8K’와 같은 범용 벤치마크만으로는 콜봇용 모델의 실제 서비스 품질을 충분히 예측하기 어렵다고 지적하며, 이번 연구가 NIST AI RMF, OWASP, RAGAS 등 9개 핵심 문헌에서 도출한 63개 품질 항목과 VUI(Voice User Interface) 특성을 콜봇 도메인에 맞춰 6개 평가 영역으로 재구성한 점에 의의를 뒀다.</p> <p contents-hash="833a84a1eeba54772d267fa94037cc7e2cef79afa5cb2c4f54ba3a0f1782e476" dmcf-pid="HMz3YvvmsI" dmcf-ptype="general">연구는 반드시 통과해야 하는 최소 품질 기준인 ‘게이팅(Gating)’과 모델 간 다차원 비교를 위한 ‘스코어카드(Scorecard)’를 분리한 이중 채점 체계를 제안했다. 이를 통해 기업은 콜봇 도입 전 후보 모델의 사용 가능 여부를 선별하고, 실제 운영 목적에 맞는 모델을 보다 체계적으로 비교할 수 있다.</p> <p contents-hash="aa0613ea65fa3cd4ed4776a06551462250fb96fb21b9c67a7153fcc9bfd13928" dmcf-pid="XRq0GTTsDO" dmcf-ptype="general">ECS텔레콤은 이 평가 체계를 자사 AICC 플랫폼의 모델 검증, 도입, 운영 사이클에 적용해 고객사의 콜봇 도입 컨설팅과 품질 관리에 활용할 계획이다. 또한 후속 연구를 통해 ‘파인튜닝 용이도(Fine-tuning Readiness)’ 부지표를 추가하고, 콜봇 맞춤형 sLLM 개발 및 개선 과정의 품질 점검 도구로 확장할 예정이다.</p> <p contents-hash="7da0511e2884492ac1fd988be99322c8eec7444fabcae9f684732b1d1d9418b1" dmcf-pid="ZeBpHyyOms" dmcf-ptype="general">한편 1999년 설립된 ECS텔레콤은 금융, 공공, 통신, 이커머스 등 주요 산업의 컨택센터 구축과 운영을 지원해 왔으며, 최근에는 자체 AICC 플랫폼을 기반으로 콜봇, 챗봇, 상담 지원, 지식 관리 등 생성형 AI 기반 컨택센터 솔루션을 공급하고 있다.</p> <p contents-hash="47764cf53f227cebe50a2dd15ed36e15166e15aebd12a9b37d58bceee0dd470a" dmcf-pid="5dbUXWWIOm" dmcf-ptype="general">김호준 (rapk@edaily.co.kr) </p> </section> </div> <p class="" data-translation="true">Copyright © 이데일리. 무단전재 및 재배포 금지.</p> 관련자료 이전 김영원, 레펀스 잡고 PBA 2차전 8강 진출 06-10 다음 네이버 D2SF, AI 보안 스타트업 '에임인텔리전스' 투자 06-10 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
