[IT 백과] AI에게 한글은 왜 더 비쌀까… ‘토크나이저’가 가르는 AI 주권

작성일 10-10

<div id="layerTranslateNotice" style="display:none;"></div> 같은 뜻 문장도 한국어 입력 토큰 영어보다 61% 많아 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="QbKtjO8Bhz">
 <div contents-hash="04c8ce408baacffeec5fd818c2f45aae800837cce3676f32a45bdd965de74939" dmcf-pid="xK9FAI6bS7" dmcf-ptype="general">
 정보기술(IT) 영역에 관한 모든 지식을 압축해 풀이합니다. IT산업에 꼭 필요한 용어들을 소개하고, 살펴보면 좋을 쟁점들도 정리합니다. IT가 처음인 입문자라면 혹은 동향을 알고 싶은 전문가라면, 디지털데일리 'IT백과'를 참고하세요. &lt;편집자주&gt;
 </div>
 <figure class="figure_frm origin_fig" contents-hash="ebe15fe8782da74ccf8b2c8e99563e59d981f27dfcda0e621f7de0cc95a0ad67" dmcf-pid="ymsgUVSrvu" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/10/552796-pzfp7fF/20261010060043224fkxb.jpg" data-org-width="640" dmcf-mid="Pao6W3cnhq" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/10/552796-pzfp7fF/20261010060043224fkxb.jpg" width="658">
 </figure>
 [디지털데일리 구아현기자] 한국인이 한국어를 쓴다는 이유만으로 더 많은 비용을 치를 수 있는 서비스가 있다. 인공지능(AI)이다. 같은 뜻의 문장을 입력해도 한국어가 영어보다 더 많은 ‘토큰’을 사용하는 경우가 많기 때문이다. 최근 최신 AI 모델 8종에 같은 의미의 문장 200개를 입력한 실험에서는 한국어가 영어보다 평균 61% 많은 입력 토큰을 사용한 것으로 나타났다.
 대형언어모델(LLM)은 사람이 읽듯 문장을 그대로 받아들이지 않는다. 문장을 ‘토큰’이라는 작은 단위로 쪼개 숫자로 바꾼 뒤 계산한다. 이때 문장을 어디서, 얼마나 잘게 나눌지를 결정하는 것이 ‘토크나이저(tokenizer)’다. 한국어를 얼마나 적은 토큰으로 정확하게 처리하느냐가 AI의 처리 속도와 비용을 넘어 국산 AI 경쟁력과 ‘AI 주권’의 문제로 이어지고 있다.
 ◆ AI에도 ‘언어 비용’… 한국어가 영어보다 더 비싸
 실제 최신 AI 모델에서도 언어에 따른 토큰 격차가 확인된다. AI 분석 매체 AI스크롤(AIScroll)은 지난 6일(현지시간) GPT-6.1, 클로드 오푸스 5.5, 제미나이 3.8 플래시 등 최신 AI 모델 8종을 대상으로 언어별 입력 토큰 사용량을 비교했다.
 실험에는 다국어 번역 벤치마크 플로레스-200(FLORES-200)의 첫 200개 문장이 사용됐다. 뜻은 같지만 언어만 다른 문장을 영어와 한국어 등 9개 언어로 각각 입력한 뒤 각 모델의 API가 실제 집계한 입력 토큰 수를 비교했다. 요청 자체에 붙는 고정 토큰은 별도로 측정해 제외했다.
 그 결과영어를 1로 놓았을 때 한국어의 평균 토큰 사용량은 1.61배였다. 영어로 100토큰이 필요한 내용을 한국어로 전달하면 평균 161토큰이 필요했다는 의미다. 중국어는 영어의 1.08배, 스페인어 1.41배, 일본어 1.42배, 독일어 1.46배, 프랑스어 1.47배, 러시아어 1.50배였다. 한국어보다 높은 언어는 아랍어 1.63배와 힌디어 2.27배였다. 비영어권 8개 언어 평균은 영어의 1.54배였다.
 모델별 편차도 컸다. 한국어는 가장 효율적으로 처리한 모델에서는 영어의 1.27배 수준이었지만 가장 많은 토큰을 사용한 모델에서는 1.99배까지 벌어졌다. 같은 한국어 문장이라도 어떤 모델과 토크나이저를 쓰느냐에 따라 필요한 토큰 수가 크게 달라질 수 있다는 뜻이다. 다만 이번 결과는 입력 토큰만 비교한 독립 실험이다. 다만 실제 비용은 출력 길이와 모델별 입력·출력 가격 등에 따라 달라진다.
 국내 연구에서도 이 같은 ‘한국어 페널티’가 확인된 바 있다. 고려대와 휴먼인스파이어드AI리서치 연구진이 2024년 발표한 연구에서는 지피티-4(GPT-4)를 포함한 4개 대규모언어모델의 토크나이저를 분석한 결과, 의미가 같은 문장을 처리할 때 한국어가 영어보다 최대 3배 많은 토큰을 사용하는 것으로 나타났다. 연구진은 토큰화 단계에서부터 한국어 사용자가 더 높은 비용과 느린 처리 속도를 감수할 수 있다며 한국어 특화 토큰화 전략의 필요성을 제기했다.
 LG AI연구원이 2024년 8월 공개한 엑사원 3.0(EXAONE 3.0) 기술보고서에서도 한국어의 토큰 부담이 확인됐다. 표본 말뭉치의 단어당 토큰 수를 비교한 결과 엑사원 3.0은 한국어가 영어보다 약 1.7배 많았고, 비교 대상 글로벌 모델에서는 격차가 최대 약 3.5배까지 벌어졌다.
 다만 개인용 정액제 서비스를 한국어로 이용한다고 당장 구독료를 더 내는 것은 아니다. 차이는 토큰 수에 따라 사용료를 매기는 응용프로그램인터페이스(API)와 기업용 AI 서비스에서 직접적인 비용 부담으로 연결된다. 같은 내용을 더 많은 토큰으로 표현하면 처리해야 할 연산량이 늘고, 정해진 컨텍스트 창에 담을 수 있는 실제 정보량도 줄어든다. 토큰 단위로 과금하는 AI 서비스에서는 같은 일을 시키고도 한국어 이용자가 더 많은 비용을 부담할 수 있다.
 ◆ AI는 한글을 어떻게 읽나… 관건은 ‘토크나이저’
 그렇다면 왜 이런 차이가 생길까. 핵심은 AI가 문장을 사람이 인지하는 ‘글자’나 ‘단어’ 그대로 읽지 않는다는 데 있다. 자연어로 표현된 텍스트를 AI가 처리하려면 먼저 토큰으로 나눈 뒤, 이를 AI가 계산할 수 있는 숫자 형태로 바꿔야 한다.
 토크나이저는 사람이 입력한 텍스트를 모델이 계산할 수 있는 작은 단위인 토큰으로 나눈다. 모델이 학습 과정에서 자주 접한 문자나 단어 조합은 하나의 토큰으로 묶을 수 있지만 상대적으로 익숙하지 않은 표현은 여러 조각으로 나뉜다. 같은 의미의 문장이라도 어떤 언어의 데이터를 얼마나 많이 학습했고 어휘집을 어떻게 구성했느냐에 따라 토큰 수가 달라질 수 있다.
 한국어의 언어적 특성도 영향을 미친다. 한국어는 어간에 조사와 어미 등이 붙어 하나의 단어가 여러 형태로 변하는 교착어다. 토크나이저의 어휘집에 한국어 표현이 충분하게 반영돼 있지 않으면 하나의 어절이 여러 토큰으로 잘게 나뉠 수 있다.
 다만 이를 ‘한글 자체가 AI에 비효율적인 언어’라고 해석할 수는 없다. 현재 주요 LLM은 영어 데이터 비중이 높은 학습 환경에서 개발됐고, 토크나이저 역시 학습 데이터에 자주 등장하는 문자와 단어 조합을 우선적으로 하나의 토큰으로 묶는 방식이 일반적이다. 그 결과 학습 데이터에서 비중이 큰 영어는 상대적으로 적은 토큰으로 압축되는 반면, 한국어처럼 데이터 비중이 낮거나 형태 변화가 많은 언어는 더 잘게 쪼개질 수 있다. 결국 한국어의 높은 토큰 사용량은 한글 자체의 한계라기보다 학습 데이터 구성과 토크나이저 설계에서 발생하는 격차에 가깝다.
 ◆ 국산 모델 경쟁력, ‘토큰 다이어트’
 국내 주요 AI 기업들이 한국어 처리 효율을 국산 모델의 경쟁력으로 내세우고 있다.
 LG AI연구원은 올해 초 공개한 K-엑사원(K-EXAONE)에 어휘집 확대와 슈퍼비피이(SuperBPE) 방식을 적용해 기존 엑사원 4.0 대비 한국어 토크나이저 효율을 29% 높였다. 이후 지난 7월 후속 모델인 K-엑사원 2.0을 공개하며 전체 성능을 10% 이상 끌어올렸지만, 토크나이저 효율에 대한 별도 정량 수치는 공식 발표자료에 포함하지 않았다.
 업스테이지가 지난 7월 공개한 솔라 오픈2(Solar Open 2)는 한국어 처리 시 토큰 효율을 높이도록 최적화한 토크나이저를 적용했다. 업스테이지 자체 시험 결과 같은 한국어 텍스트를 처리할 때 비교 대상 글로벌 모델이 사용하는 토큰의 약 50~80% 수준만 사용했다. 한국어 사무업무 텍스트를 기준으로 비교한 12개 모델 가운데 가장 효율적이었으며, 가장 토큰 효율이 높은 글로벌 비교 모델보다도 약 24% 앞섰다는 게 회사 측 설명이다.
 카카오는 지난 7월 28일 공개한 카나나2(Kanana-2) 경량언어모델에 자체 토크나이저를 적용했다. 카카오에 따르면 이를 통해 한국어 처리 효율을 기존 대비 30% 이상 높였다. 스마트폰 등 기기에서 직접 구동하는 경량 모델은 사용할 수 있는 연산 자원이 제한적인 만큼 토큰을 얼마나 효율적으로 처리하는지가 더욱 중요하다.
 SK텔레콤 역시 에이닷엑스 4.0(A.X 4.0)에 자체 설계한 토크나이저를 적용했다. 자체 시험에서 같은 한국어 문장을 입력했을 때 지피티-4오(GPT-4o)보다 약 33% 높은 토큰 효율을 기록했다. SK텔레콤은 높은 토큰 효율이 정보 처리 용량을 늘리는 동시에 서비스 비용을 낮추는 효과로 이어질 수 있다고 설명했다.
 하지만 한국어에만 지나치게 특화하는 것도 답은 아니다. 김준기 래블업 CTO는 “독자 한국어 모델이라고 할지라도 영어 성능을 나쁘게 만들 수는 없다”며 “코딩을 잘하는 국산 모델을 만들고 싶다고 해도 코드는 대부분 영어로 돼 있기 때문에 영어 성능을 소홀히 할 수 없다. 한쪽을 강화하면 다른 쪽 성능이 떨어질 수 있어 균형을 맞춰야 하는 문제”라고 설명했다.
 ◆ 한국어 토큰 효율도 ‘AI 주권’
 토크나이저는 결국 모델 안에서만 쓰이는 기술적 요소에 그치지 않는다. AI 사용자가 수백만명, 수천만명 단위로 늘어나면 한국어 문장 하나에서 생기는 작은 토큰 차이가 전체 그래픽처리장치(GPU) 사용량과 전력, 추론비용의 차이로 누적될 수 있다.
 정부가 추진하는 ‘독자 AI 파운데이션 모델’ 사업에서도 모델의 독자 기술 확보는 주요 평가 요소다. 과학기술정보통신부는 지난 8월 2차 단계평가에서 ‘독자성에 기반한 AI 모델 성능 향상 수준’을 전문가 평가에 반영했다. 실제 평가 과정에서는 아키텍처와 토크나이저, 옵티마이저 등을 자체 개발한 사례도 기술 독자성의 성과로 평가됐다. 2차 평가 결과 업스테이지와 SK텔레콤, LG AI연구원 등 3개 정예팀이 다음 단계에 진출했다.
 특히 전 국민이 AI를 사용하는 단계에서는 토큰 효율의 경제적 의미가 더 커진다. 과기정통부는 지난 8월 ‘모두의 AI’ 사업 수행기관으로 SK텔레콤·카카오·KT 3개 컨소시엄을 선정했다. 정부는 올해 이들 컨소시엄에 엔비디아 B200 GPU 총 512장을 지원하고, 2027년부터는 국민 대상 서비스 제공에 필요한 비용을 예산으로 지원할 계획이다.
 정부의 2027년도 예산안에는 ‘모두의 AI’ 관련 예산 2500억원이 편성됐다. 과기정통부는 이 가운데 GPU 임차비 등을 활용하면 B200 기준 약 2000장을 확보할 수 있고, 일 사용자 기준 약 1000만명을 수용할 수 있을 것으로 추산했다. 다만 실제 수용 규모는 서비스 형태와 이용량 등에 따라 달라질 수 있다.
 한 사람이 한 번 질문할 때 발생하는 수십 개의 토큰 차이는 작아 보인다. 하지만 1000만명이 매일 한국어로 AI를 사용한다면 이야기가 달라진다. 같은 작업에 필요한 토큰 수가 줄수록 동일한 GPU에서 더 많은 요청을 처리할 수 있고 필요한 전력과 추론비용도 낮출 수 있다. 토큰 효율이 개발사 내부의 성능 지표에서 국가 단위 AI 서비스의 경제성 문제로 확장되는 이유다.
 결국 소버린 AI는 우리 언어와 데이터를 해외 모델보다 불리하지 않은 비용으로 처리하고 이를 위한 모델과 컴퓨팅 인프라까지 스스로 통제할 수 있어야 한다. 한글날을 맞아 ‘한국어를 잘하는 AI’의 의미도 달라지고 있다. 우리말을 정확하게 이해하는 것을 넘어 얼마나 적은 비용으로 읽고 처리할 수 있느냐 역시 AI 주권의 한 축이 되고 있다.
 </section> 
 </div> 
 Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.

등록된 댓글이 없습니다.

로그인한 회원만 댓글 등록이 가능합니다.

먹튀폴리스

[IT 백과] AI에게 한글은 왜 더 비쌀까… ‘토크나이저’가 가르는 AI 주권

멤버랭킹

관련자료

멤버랭킹