"저렴한 토큰 모델이 더 비싸다"…이동수 분과위원이 뒤집은 AI 효율 공식 작성일 07-21 55 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">"GPU 복제 효율과는 다르다"…에이전틱 AI, 평가지표부터 다시 짜야</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="Yxk8I31yCU"> <figure class="figure_frm origin_fig" contents-hash="6afba7b2270b567745c07f6fbe6c5fc2104822eedd08543b1c09cc2850c90319" dmcf-pid="GME6C0tWlp" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/21/552796-pzfp7fF/20260721060036835jhzz.jpg" data-org-width="640" dmcf-mid="W8jVm1XSTu" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/21/552796-pzfp7fF/20260721060036835jhzz.jpg" width="658"></p> </figure> <p contents-hash="7794ad8a3b2ae20c27a9dcfe23646565cdf757c160f24469d0e777429e3e93dd" dmcf-pid="HRDPhpFYT0" dmcf-ptype="general">[디지털데일리 박재현기자] 토큰 단가가 싼 모델을 썼다가 오히려 더 비싼 대가를 치르는 역설이 나타났다. 같은 과업을 여러 모델에 시켜본 결과 단가가 낮은 모델이 시행착오를 더 많이 거치며 총비용에서 되레 밀리는 사례가 확인됐다. 토큰 가격이 아니라 목표 달성까지 드는 총비용으로 효율을 다시 재야 한다는 진단이다.</p> <p contents-hash="fc571988ae3b31773655f94dd35600770a40e9716f801d61ac288e4669c29a06" dmcf-pid="XewQlU3GC3" dmcf-ptype="general">지난 20일 국가인공지능전략위원회가 서울스퀘어 16층 회의실에서 개최한 '에이전틱 AI 시대, 국가 AI 컴퓨팅 전략' 세미나에서 이동수 기술혁신·인프라 분과위원(a2sys 대표)이 이 같이 강조했다.</p> <p contents-hash="988ae37b24d20227a5e193f102c7459f7d4f277bfceb5796ed38514a489e5b1c" dmcf-pid="ZdrxSu0HTF" dmcf-ptype="general">이동수 위원에 따르면, 토큰 단가가 저렴한 모델이 비싸지는 역설은 실제 벤치마크에서 확인됐다. 복수 모델에 같은 복합 과업을 수행시킨 뒤 총비용과 처리 시간을 비교한 결과다. 단가가 낮은 모델일수록 반복 횟수가 늘어나면서 전체 비용과 시간에서 밀리는 결과가 나왔다.</p> <p contents-hash="3f8b2b64956919a5e6cc0dcdd0b243dbffc785f3f05f832c464b92e70d18c005" dmcf-pid="5JmMv7pXht" dmcf-ptype="general">역설의 원인은 에이전틱 AI 특유의 반복 구조에서 기인한다. 서로 다른 역할을 맡은 에이전트들이 순서대로 작업을 넘겨받으며 통신하고, 중간 단계에서 실패하면 처음으로 돌아가 재시도를 거듭한다. 앞선 에이전트의 오류가 다음 단계로 그대로 전이되는 구조라 겉보기 단가가 낮아도 재시도가 누적되면 총비용은 얼마든지 뒤집힌다.</p> <p contents-hash="39156fdd5130349ce4dc2e49232b3662562ef2c2609e12f06f15d5a7ef825695" dmcf-pid="1mZEUMPKl1" dmcf-ptype="general">기존 LLM 인프라의 효율 기준으로는 이 역설을 잡아내지 못한다. 동일 모델을 여러 GPU에 복제해 요청을 처리하는 LLM 서비스는 어느 GPU가 맡든 결과가 같아 토큰당 가격만 따져도 무방했다. 에이전틱 AI는 반복 횟수 자체가 비용을 좌우해 같은 기준으로 비교할 수 없다.</p> <p contents-hash="f9f2c369faa96f347b1f5243e4fcc5fa30f5af1d049a8eb7fa2cbb90c699e56b" dmcf-pid="ts5DuRQ9h5" dmcf-ptype="general">문맥(컨텍스트) 관리 실패는 반복 비용이 사고로 이어진 사례다. 실제로 에이전트가 누적된 문맥을 압축·정리하는 과정에서 필요한 정보를 지워버리는 사고가 발생했다. 최근 SNS에도 AI 에이전트가 문맥 정리 중 사용자의 이메일을 대량 삭제한 사례가 공유돼 논란이 됐다.</p> <p contents-hash="1029051a72a5675c2ee7e7150e37f00d15fc2c8bb5d2520371dbf6e546012e26" dmcf-pid="FO1w7ex2TZ" dmcf-ptype="general">추론모델에서는 역설이 반대 방향으로도 나타났다. 추론 단계를 거치는 모델은 토큰을 더 많이 쓸 것이라는 통념과 달리, 다음 단계를 정확히 판단해 시행착오를 줄이면서 전체 토큰 사용량이 오히려 줄어든 사례가 나왔다. 단가가 비싸 보이는 모델이 실제로는 더 싸게 끝나는, 앞선 역설과 같은 맥락이다.</p> <p contents-hash="872bc2699ed186e71aaf91bac3eeb1fab71392c90006100aada8597c88c90b29" dmcf-pid="3ItrzdMVyX" dmcf-ptype="general">이동수 위원은 "토큰당 가격이나 전력 같은 기존 지표는 목표 달성까지 걸리는 반복과 시행착오를 반영하지 못한다"면서 "모델과 인프라는 목표 하나를 끝까지 달성하는 데 드는 총비용과 시간을 기준으로 다시 평가해야 한다"고 강조했다.</p> <p contents-hash="8b8040e4151069247f657b68144480dad396979a85a158f8daee3a46eb1ec54a" dmcf-pid="0CFmqJRfTH" dmcf-ptype="general">한편, 세미나에서는 한국이 확보해야 할 풀스택 기술 범위를 구체적으로 좁혀야 한다는 논의도 이어졌다. HW와 SW가 교차하는 지점에서 새로운 기회가 열릴 수 있는 만큼, 노릴 수 있는 기회 영역을 서너 개로 좁혀 병렬로 실험하는 접근이 필요하다는 제안이 나왔다.</p> <p contents-hash="d4e8e12f5fd987f34cd7ff66cdd7e3149cb3bb308731ede256d2c27b2f9d55da" dmcf-pid="ph3sBie4TG" dmcf-ptype="general">AI가 향후 대부분의 IT·소프트웨어에 내재화될 것이라는 전망 속에, 2~3년 뒤에도 독립된 핵심 분야로 남을 기술을 먼저 가려내야 한다는 지적도 있었다.</p> <p contents-hash="6aca465b989af0712a6d2762f48e78aeac7fd95cc74b2ec24bfbaed2da0ac2e1" dmcf-pid="Ul0Obnd8vY" dmcf-ptype="general">한국이 기술 표준을 주도해야 한다는 목소리도 나왔다. 메모리에서는 강세를 보이지만 전체 판은 엔비디아 등 빅테크가 짜놓은 구조에 편입되는 형태인 만큼, AI 3강 달성을 위해서는 판 자체를 설계하는 방향으로 전략을 바꿔야 한다는 지적이 제기됐다. 또, 소버린 AI 확보를 위해 메모리 등 강점 분야에만 집중하기보다 전 기술 영역에서 최소한의 자생력을 갖춰야 한다는 견해도 나왔다.</p> </section> </div> <p class="" data-translation="true">Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.</p> 관련자료 이전 [바캉스 소비지도 ⑥] "집 밖은 위험해"…에어컨·로봇청소기 완성 '스마트 홈캉스' 07-21 다음 [AI기본법 가동上] 공공 IT시장서 AI가 주인공 될까…‘AI 확산’ 개정안 오늘부터 시행 07-21 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
