폭증하는 토큰 사용량…‘AI 비용 청구서’ 더 늘어난다 작성일 06-06 37 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="bxPrEhYCJu"> <p contents-hash="6748ab741771df2b391723c4c3f35fe8f96694974c16665e583bc5b62cc09eaf" dmcf-pid="KMQmDlGhLU" dmcf-ptype="general">━<br> 이준기의 빅데이터 <br> 요즘 LLM(대규모 언어모델) 중 하나인 클로드 코드를 쓰다 보면 부쩍 자주 마주치는 메시지가 있다. “토큰 사용량 한도를 초과했습니다. 5시간 후 다시 시도해 주세요.” 토큰 한도가 있다는 건 처음부터 알고 있었다. 그런데 올 들어 그 한도에 훨씬 빨리, 훨씬 자주 부딪힌다. 마치 예전엔 한 달 내내 쓰고도 남던 데이터 요금제가 어느 순간부터 보름도 안 돼 바닥나는 느낌이랄까. 단순히 필자가 더 많이 쓰게 된 것인지, 아니면 공급 자체가 빠듯해진 것인지 궁금해졌다. 알아보니 둘 다였다. </p> <p contents-hash="8fa1e8f415719c4511e00eb6a7d0acab7f7458a8a4de3a0c0ca8e3c84ca6adf0" dmcf-pid="9RxswSHlMp" dmcf-ptype="general">코딩분야 AI 사용도 토큰 수요 폭발 원인 <br> 필자만의 경험이 아니었다. 앤트로픽은 올해 3월 말부터 평일 낮 시간대에 AI 사용량을 조용히 조이기 시작했다. 오픈AI는 동영상 생성 AI ‘소라(Sora)’ 서비스를 갑자기 중단했고, 마이크로소프트 산하의 개발자 플랫폼 깃허브는 4월에 코딩 AI 봇의 신규 구독을 아예 멈췄다. 오픈AI의 최고재무책임자는 “처리 능력이 부족해서 모든 기회를 추구하지 못하고 있다”고 직접 인정했다. 세계 최고의 AI 기업이 “서비스가 너무 인기 있어서 다 팔지 못하겠다”는 상황에 처한 것이다. 앤트로픽의 다리오 아모데이 최고경영자는 올해 1분기 사용량이 연간 기준으로 80배 성장했다고 밝혔다. 10배 성장을 예상했던 자신들조차 깜짝 놀란 수치였다. </p> <p contents-hash="02e3f49b13db2375441af09feaeea2fc0a040bd2ea45d51e4dcb3e8934cacfe3" dmcf-pid="2ANGyt71i0" dmcf-ptype="general">이 현상의 핵심에는 ‘토큰(Token)’이라는 개념이 있다. 토큰은 AI가 글을 읽고 쓸 때 사용하는 기본 단위다. 마치 우리가 책을 읽을 때 한 글자씩 눈에 담듯, AI는 텍스트를 토큰 단위로 잘게 쪼개 처리한다. “오늘 날씨 어때요?”라는 짧은 질문 하나도 토큰으로 분해된 뒤 처리되고, 다시 수십 개의 토큰으로 조립된 답변이 돌아온다. 바꿔 말하면, 우리가 AI를 사용하는 모든 순간은 곧 토큰을 소비하는 순간이다. 챗봇에 질문을 던지든, 코드를 짜달라고 하든, 보고서를 요약해달라고 하든, 그 모든 행위가 토큰으로 환산되어 이 토큰을 처리하는 데 컴퓨터 자원이 필요하다는 것이다. 그런데, AI 모델 거래 플랫폼 오픈라우터에 따르면, 2025년 3월 주간 처리량이 1.24조 토큰이었는데 2026년 2월에는 13.95조 토큰으로 불과 1년 만에 10배 이상 뛰었다. </p> <p contents-hash="ca06ea30babec2740e2c081f1e617fc9239292e18477165354bf6c9cb847bf45" dmcf-pid="VcjHWFztM3" dmcf-ptype="general">그렇다면 왜 토큰 수요가 이토록 폭발하고 있는가. 첫 번째 이유는 코딩 분야의 AI 사용 급증이다. 오픈라우터 데이터를 보면, 전체 LLM 토큰 사용량에서 프로그래밍이 차지하는 비중이 2025년 초 11%에서 2025년 말 50%를 넘어섰고 2026년에도 가장 큰 단일 범주를 유지하고 있다. 구글·메타·마이크로소프트 같은 빅테크 기업들이 소프트웨어 개발 과정에 AI 코딩 도구를 전면 도입한 결과다. 흥미로운 것은, 앤트로픽에 따르면 클로드 코드 자체의 코드 중 약 90%가 클로드 코드에 의해 작성되고 있다는 점이다. AI가 AI를 만드는 시대, 그 과정에서 토큰이 폭발적으로 소비된다. 숙련된 개발자 한 명이 평균 2.3개의 AI 코딩 도구를 동시에 쓰며 월 15만원에서 40만원을 지출하는 시대가 됐고, 복잡한 디버깅 세션 하나에만 50만 토큰 이상이 소모되기도 한다. </p> <p contents-hash="1d243d9bf1654524ac72e0bde35f34e73f72301d42f14f1abb02201a6afd0ef0" dmcf-pid="fkAXY3qFiF" dmcf-ptype="general">두 번째이자 더 근본적인 이유는 기업의 일상적인 업무 프로세스에 ‘에이전트 AI(Agentic AI)’가 본격 도입되기 시작한 것이다. 예전의 AI는 질문에 답만 하는 존재였다. “서울 날씨 알려줘” “이 문장 번역해줘” 수준이었다. 하지만 기업의 에이전트 AI는 차원이 다르다. 고객이 환불을 요청하면 에이전트가 주문 이력을 조회하고 환불 규정을 확인하고 처리까지 완결한다. 보험사에서는 청구서 심사를, 제약사에서는 임상 문서 분석을, 물류 기업에서는 실시간 재고 조율을 에이전트가 맡기 시작했다. 사람이 개입할 필요 없이 수십 개의 하위 작업이 연쇄적으로 돌아가는 것이다. 에이전트 코딩 작업 하나에만 평균 100만에서 350만 개의 토큰이 쓰인다는 분석도 있다. 대화형 챗봇 한 번 쓰는 것과는 수백 배 차이가 나는 셈이다. </p> <p contents-hash="8ce8373398cd1c97be846dc60f09e7e0a90dad16ca53a230c0692ea635505e13" dmcf-pid="4EcZG0B3Jt" dmcf-ptype="general">기업들은 이미 이 방향으로 빠르게 움직이고 있다. 시장조사기관 가트너에 따르면, 2025년에 AI 에이전트를 도입한 기업이 전체의 5% 미만이었는데 2026년 말에는 40%에 달할 것으로 예상된다. 에이전트가 쉬지 않고 24시간 돌아간다는 뜻은, 토큰이 24시간 쉬지 않고 소모된다는 뜻이기도 하다. 골드만삭스는 에이전트 AI 확산으로 2026년부터 2030년 사이 전 세계 월간 토큰 처리량이 현재의 24배에 달할 것으로 전망했다. 여기에 복잡한 문제를 풀기 전에 스스로 깊이 ‘생각’하는 ‘추론 AI(Reasoning AI)’까지 더해진다. 이 사고 과정 자체가 또 막대한 토큰을 소비한다. 딜로이트는 토큰 단가가 2년 새 280배 떨어졌는데도 기업들의 실제 AI 청구서는 오히려 치솟고 있다는 ‘역설’을 지적했다. 요즘 실리콘밸리에서는 ‘토큰맥싱(Tokenmaxxing)’이라는 신조어까지 등장했다. 누가 토큰을 가장 많이 쓰는지 겨루는 괴짜 문화인데, 우스갯소리처럼 들리지만 그 이면에는 토큰 사용이 곧 경쟁력이라는 인식이 깔렸다. </p> <p contents-hash="b59309248b854c7b14b46ce26a61b461f2763fd06ace3b9e7d53b14ed27f5c89" dmcf-pid="8Dk5Hpb0d1" dmcf-ptype="general">토큰 비용 따지는 ‘AI 효율 경영’ 화두될 것 <br> 이 토큰 경제학은 주식 시장과도 직결된다. 불과 몇 달 전까지 AI 공급 부족 이야기는 엔비디아 GPU와 데이터센터, 전기 공급에 집중됐다. 주로 더 크고 똑똑한 LLM 모델을 학습시키기 위한 자원 경쟁이었다. 그런데 이제는 차원이 달라졌다. 모델을 학습시키는 문제를 넘어, 이미 만들어진 AI를 기업들이 실제로 ‘작동’시키는 과정에서 발생하는 토큰 수요가 공급을 압도하기 시작한 것이다. 에이전트 AI의 확산이 공급 병목의 지형도를 바꾸고 있다. AI가 작동하려면 고대역폭 메모리(HBM)가 필수인데, 삼성전자는 올해 1분기 영업이익이 전년 동기 대비 8배 이상 증가했다. 삼성전자 메모리 사업부장은 4월 실적 발표에서 공급 부족이 2027년까지 계속될 것이라고 경고했고, SK하이닉스도 같은 날 비슷한 전망을 내놓았다. 세계 D램 생산의 95% 이상을 점유하는 세 회사가 동시에 “물량이 없다”고 말하는 이례적 상황이다. 잠잠하던 인텔도 살아나고 있다. 에이전트 AI는 여러 작업을 동시에 조율해야 하므로 GPU뿐 아니라 CPU를 대량으로 필요로 한다. 데이터센터 GPU 대 CPU 비율이 예전에는 8대 1이었는데, 에이전트 AI 확산으로 4대 1로 이미 좁혀졌고, 조만간 1대 1에 근접할 것이라는 전망도 나온다. </p> <div contents-hash="05e0bb1f26e6e367eaa35a33ea09bd1c0f2cc6ff386515e7f62e2a14f22be7bb" dmcf-pid="6wE1XUKpM5" dmcf-ptype="general"> <div> <div> </div> </div> </div> <figure class="figure_frm origin_fig" contents-hash="aeaa1fdb33e741f1af6225a3c36f31cda18f995a1f915c891127f3300abf5050" dmcf-pid="PrDtZu9UMZ" dmcf-ptype="figure"> <p class="link_figure"><img alt="미국 멤피스에 위치한 스페이스X의 초대형 AI 데이터센터 ‘콜로서스(Colossus) 1’. [중앙포토]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/06/joongangsunday/20260606001909293uymu.jpg" data-org-width="763" dmcf-mid="qBpdMgEoLz" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/06/joongangsunday/20260606001909293uymu.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 미국 멤피스에 위치한 스페이스X의 초대형 AI 데이터센터 ‘콜로서스(Colossus) 1’. [중앙포토] </figcaption> </figure> <div contents-hash="fb989b63653fc51d7ae3f101fa0bc3279cdb24170e8a4a65af30f58cdb11a33d" dmcf-pid="QmwF572uiX" dmcf-ptype="general"> <div> <div> <span></span> </div> </div> 공급 부족을 풀려는 노력도 이어지고 있다. 구글은 ‘터보퀀트(TurboQuant)’라는 기술로 AI가 필요로 하는 메모리양 자체를 줄이는 방법을 제시했다. 하지만 기존 모델에 적용하려면 정밀도 손실을 감수해야 하고, 범용적으로 쓰이기까지는 상당한 검증 시간이 필요하다. 중국의 딥시크는 지난해 초 미국 최고 모델과 맞먹는 성능을 훨씬 적은 비용으로 구현해 세계를 충격에 빠뜨렸다. 엔비디아 주가가 하루 만에 17% 폭락했을 정도였다. 하지만 올해 4월 발표된 V4 모델의 시장 반응은 훨씬 차분했다. 미국 국립표준기술연구소는 V4의 성능이 미국 최전선 모델보다 약 8개월 뒤처진다고 평가했고, 딥시크스스로도 “최고 수준 대비 3~6개월 격차가 있다”고 인정했다. 설령 성능이 충분하더라도, 미·중 기술 패권 갈등 속에서 미국 기업들이 중국 모델을 핵심 인프라에 그대로 채택하기는 정치적으로 쉽지 않다. 앤트로픽은 스페이스X의 ‘콜로서스 1(Colossus 1) 데이터센터’(22만 개의 엔비디아 GPU, 300㎿ 전력규모) 전체를 임대하는 계약을 맺었고, 아마존·구글과도 수십조 규모의 추가 공급 계약을 잇달아 체결했다. 이 모든 인프라가 실제로 가동되기까지는 최소 2~3년이 걸리고, 그 사이 데이터센터 건설은 각지에서 주민 반대와 환경 규제에 막히고 있다. 냉각 시스템, 네트워크 장비, 클라우드 서버, 반도체 제조 장비 모두 수요를 전혀 따라가지 못하고 있다. </div> <p contents-hash="306f1a8168939bd74e0f9ba82aee343641e0d9c5a8b8190f7f6ad76d267c48e0" dmcf-pid="xsr31zV7dH" dmcf-ptype="general">결국 세 가지 흐름이 보인다. 첫째, 반도체 호황은 당분간 끝나지 않는다. GPU, HBM만의 이야기가 아니라 기존의 CPU로도 수혜가 계속 확대되고 있다. 둘째, 앞으로 주목받을 섹터는 칩을 넘어 반도체 제조 장비, 전력 관리 장비, 냉각 장비, 네트워크 인프라, 클라우드로 넓어질 것이다. 구글·아마존·메타 등 빅테크 하이퍼스케일러들이 올해 설비 투자를 전년 대비 3배로 늘리는 동안 이들에게 장비를 공급하는 업체들의 투자 증가율은 절반 수준에 그치고 있다. 수요는 폭발하는데 공급망 투자는 한참 뒤처져 있다는 뜻이다. 셋째, 기업들이 조만간 AI를 ‘쓰느냐 마느냐’가 아니라 ‘얼마나 효율적으로 쓰느냐’를 따지기 시작할 것이다. 글로벌 IT 분석업체 IDC는 2027년까지 AI 에이전트 사용량이 10배 늘고 토큰 호출 횟수는 1000배 증가할 것으로 내다봤다. 기업들은 마치 전기 요금을 관리하듯, 어떤 업무에 어느 수준의 AI를 얼마나 써야 효과적인지를 계산하는 시대로 진입하고 있다. 토큰 비용 대비 효과를 따지는 ‘AI 효율 경영’이 다음 화두가 될 것이다. </p> <p contents-hash="5bb1ed32124f51d87cd561d3bc8bbd49fb7a5f43cad969afbee999c9d207d8c1" dmcf-pid="y9baLEIkeG" dmcf-ptype="general">석유처럼, 전기처럼, AI도 이제 쓴 만큼 비용이 따라오는 자원이 됐다. 필자의 화면에 뜬 그 메시지, “5시간 후에 다시 오세요”는 AI 시대의 새로운 현실을 알리는 작은 신호탄이었는지도 모른다. </p> <div contents-hash="88407dec27c5cfd54342f2e161a8adf30a113e3ea701e0fe08a260a5d32fe0e5" dmcf-pid="W2KNoDCELY" dmcf-ptype="general"> <div> <div> </div> </div> </div> <figure class="s_img figure_frm origin_fig" contents-hash="2a7dafdf6272850934aea5c53c65422decda5ac037f996a9aaf11bf9d0d36d2d" dmcf-pid="YV9jgwhDiW" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/06/joongangsunday/20260606001910620libo.jpg" data-org-width="205" dmcf-mid="BgnvhH3GJ7" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/06/joongangsunday/20260606001910620libo.jpg" width="205"></p> </figure> <div contents-hash="334ac14f82170d1bbcd0f65dd27ad33566ca130c8fbe8b22400bfd4861a76927" dmcf-pid="Gf2Aarlwdy" dmcf-ptype="general"> <div> <div> <span></span> </div> </div> 이준기 연세대 정보대학원 교수. 서울대 계산통계학과 졸업 후, 카네기멜론대 사회심리학 석사, 남가주대 경영학 박사를 받았다. 인공지능의 기업 활용에 대해 여러 회사에 자문을 하고 있다. 저서로는 『AI로 경영하라』 『오픈 콜라보레이션』 『웹 2.0과 비즈니스 전략』 등이 있다. </div> </section> </div> <p class="" data-translation="true">Copyright © 중앙SUNDAY. 무단전재 및 재배포 금지.</p> 관련자료 이전 식약품 AI 안전지킴이·소상공인 AI 에이전트 나온다… 'AI 민생 10대 프로젝트' 착수 06-06 다음 "외도한 여성들, 아직도 아이 낳았다고 주장…前 남편이 혼외자 인정했을 때도 고통"→ 무하마드 알리의 '9년간 아내' 충격 고백 06-06 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
