말 끊어도 알아듣고 감정 표현까지…‘인간형 음성 AI’ 뜬다[빛이 나는 비즈] 작성일 08-08 37 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="q9UHCDwalR"> <figure class="figure_frm origin_fig" contents-hash="9108c37eaeff426d6d31c2c9137283244a8835afd85a233bf27dde8eb1e6a3c3" dmcf-pid="B1ymadJ6TM" dmcf-ptype="figure"> <p class="link_figure"><img alt="생성형 AI로 만든 참고 이미지." class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/08/seouleconomy/20260808100135521tnto.png" data-org-width="1200" dmcf-mid="typ1vsOcva" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/08/seouleconomy/20260808100135521tnto.png" width="658"></p> <figcaption class="txt_caption default_figure"> 생성형 AI로 만든 참고 이미지. </figcaption> </figure> <p contents-hash="490ebc4cfaef15274cfc71d5392a37b21054e29d3b88d55685bae35b14098e0e" dmcf-pid="btWsNJiPWx" dmcf-ptype="general">개인용 인공지능(AI) 서비스가 ‘손안의 비서’를 넘어 사람과 대화하듯 자연스럽게 상호작용하는 단계로 진화하고 있다. 특히 음성 AI의 경우 단순히 질문과 답변을 주고받는 수동적 형태를 벗어나 사용자의 감정 이해는 물론 선제적 제안까지 가능해지는 등 고도화되는 추세다. 점차 사람에 가까운 음성 AI를 구현하기 위한 정보통신(IT) 업계 간 경쟁도 한층 치열해지고 있다.</p> <p contents-hash="fb68c3b440ead06752ff78d80b878c2ad07a1a76458b53bf09935d1eef14ed2a" dmcf-pid="KFYOjinQhQ" dmcf-ptype="general">8일 IT 업계에 따르면 네이버클라우드는 최근 자연어처리 분야 최고 권위의 국제학술대회 ‘ACL 2026’에서 신규 음성 AI 기술 ‘소믈리에’에 관한 연구 논문을 발표했다.</p> <div contents-hash="21e09134c71f37c6d50e666fd5a5cb07b4093d69d3632d43b54f0b77f2f40340" dmcf-pid="93GIAnLxlP" dmcf-ptype="general"> <div> <strong>네이버, 전이중 기술 ‘소믈리에’ 공개…대화 중 질문도 반영</strong> </div> <br><span>‘소믈리에’는 AI와 사용자가 실시간으로 상호작용하며 대화를 이어 나가도록 설계된 것이 특징이다. 현재 상용화된 대부분의 음성 AI는 사용자의 질문이 끝난 뒤 답하고 다시 차례를 기다리는 순차적 방식으로 동작한다. 대화 중 수정할 부분이 있거나 추가 궁금증이 생길 때 “잠깐만”이라며 상대의 말을 끊고 개입하는 일상적인 대화 방식과는 차이가 있다.</span> </div> <p contents-hash="063feda0e9a04689d29c504fa75058c24163db35b85b97c778cf5314e21c4f1f" dmcf-pid="20HCcLoMh6" dmcf-ptype="general">이처럼 사용자의 말이 끝날 때까지 기다렸다 반응하는 기술을 ‘반이중(Half-duplex)’ 방식이라 부른다. 반면 소믈리에가 채택한 ‘전이중(Full-duplex)’ 방식은 음성과 영상, 텍스트를 하나의 모델에서 동시에 처리한다. 이를 통해 AI가 답변을 출력하는 중에도 사용자의 목소리를 실시간으로 듣고 만족도나 추가 질문 여부를 판단해 대화에 반영한다. 기존 반이중 방식이 무전기식 소통에 가까웠다면, 전이중 방식은 AI의 말을 끊고 새 질문을 던져도 이를 반영해 즉시 수정된 설명을 제공할 수 있다.</p> <figure class="figure_frm origin_fig" contents-hash="e15a136f566f87627a21aeac1feb3e0ff6adbee7b2f69552493da76349962e55" dmcf-pid="VpXhkogRS8" dmcf-ptype="figure"> <p class="link_figure"><img alt="반이중·전이중 방식 차이점. 사진 제공=네이버클라우드" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/08/seouleconomy/20260808100136835kaac.png" data-org-width="1200" dmcf-mid="3e73WChDSo" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/08/seouleconomy/20260808100136835kaac.png" width="658"></p> <figcaption class="txt_caption default_figure"> 반이중·전이중 방식 차이점. 사진 제공=네이버클라우드 </figcaption> </figure> <p contents-hash="95858c686ff142c21d15d8cea0a54da414936353ccb912158d9d89e767a856c0" dmcf-pid="fUZlEgaeT4" dmcf-ptype="general"><span>이러한 성능 차이는 ‘학습 데이터’의 처리 방식에서 비롯된다. 기존 반이중 데이터 전처리 방식은 말이 겹치는 구간을 오류나 잡음으로 간주해 제거했지만, 소믈리에 모델은 자연스러운 맞장구와 끼어들기를 데이터로 지속 학습했다. 이를 통해 사용자의 발화를 실시간으로 청취하며 필요시 발화를 멈추고 새 맥락에 맞춘 답변을 내놓는 능력을 강화했다.</span></p> <p contents-hash="d9c0a20cc6458a21135329f7d0e49d6854945e4bcd810f9614e9b13a3a5e95b7" dmcf-pid="4RfuXvTslf" dmcf-ptype="general">네이버클라우드는 현재 기술검증(PoC) 중인 업무 비서 에이전트에 소믈리에 기술을 순차 적용할 방침이다. 네이버클라우드 관계자는 “소믈리에 기술 노하우는 현재 준비 중인 전이중 보이스 에이전트 데이터셋 구축 파이프라인의 토대가 될 것”이라며 “향후 기술이 고도화되면 고객 상담, 업무 비서, 실시간 통역 등 다양한 에이전트 서비스에 두루 활용할 수 있다”고 설명했다.</p> <div contents-hash="5b97a89095e124816a059054bc2ff9efe385045ed201a45f6ba196764955c7db" dmcf-pid="8e47ZTyOWV" dmcf-ptype="general"> <div> <strong>카카오 ‘카나나-오’, 말투·감정·표현 방식까지 제어 가능해</strong> </div> <br><span>카카오는 사람처럼 보고 듣고 말하는 통합 멀티모달 언어모델 개발에 속도를 내고 있다. 최근 업데이트를 거친 자체 옴니 AI 모델 ‘카나나-오(Kanana-o)’가 대표적이다. 카나나-오는 ‘사람처럼 자연스럽게 말하는’ 단계를 넘어 ‘사용자가 원하는 방식과 톤으로 말하는’ 기술을 지향한다. 즉, 이용자가 원하는 말투와 감정, 억양까지 자연어 지시만으로 제어할 수 있다.</span> </div> <p contents-hash="abb7ff3030eea54a40abf095b3844b6901d26ecfbc841bd7c418e2cd47762952" dmcf-pid="6d8z5yWIl2" dmcf-ptype="general">예를 들어 사용자가 AI에 “작은 소리로 읽어줘”, “천천히 말해줘”, “낮은 목소리로 답해줘” 등 음량과 속도, 음높이를 지시하거나 특정 사투리, 직업군, 감정선 등 구체적인 조건까지 설정할 수 있다.</p> <p contents-hash="eb7f51db43a38fe9d1e83084970e794de6a36369fcb5e0ea308448524b5027c0" dmcf-pid="PJ6q1WYCT9" dmcf-ptype="general">이 같은 음성 생성 능력을 구현하려면 음성 표현 및 지시 이행 학습이라는 두 가지 핵심 기술이 결합해야 한다. <span stockcode="035720">카카오(035720)</span>는 이를 위해 언어모델 친화적 음성 토크나이저인 ‘LM-SPT’를 독자 개발해 카나나-오에 적용했다. 의미 정보와 함께 다양한 음향적 특성을 토큰으로 표현함으로써 언어모델이 음성의 세부 특성을 직접 생성·제어할 수 있는 기반을 마련했다.</p> <figure class="figure_frm origin_fig" contents-hash="ff8f0eb1b47ff97017ab3c78c5ef0b22cd4195a22fed7e681788d2f0ed7f6e8c" dmcf-pid="QiPBtYGhSK" dmcf-ptype="figure"> <p class="link_figure"><img alt="카카오의 ‘카나나-오’ 음성 생성 기술 성과. 사진 제공=카카오" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/08/seouleconomy/20260808100138089gjwh.png" data-org-width="1200" dmcf-mid="pRgJ4Bb0Tn" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/08/seouleconomy/20260808100138089gjwh.png" width="658"></p> <figcaption class="txt_caption default_figure"> 카카오의 ‘카나나-오’ 음성 생성 기술 성과. 사진 제공=카카오 </figcaption> </figure> <p contents-hash="9d6203ac7f970ebba69d9e5d685daee36da2fa66e78031c477a57c2c2b199c90" dmcf-pid="xnQbFGHllb" dmcf-ptype="general"><span>아울러 다양한 발화 지시를 정확히 반영하면서도 자연스러운 음질을 유지할 수 있도록 온라인 강화학습을 적용해 음성 생성 모듈을 고도화했다. 그 결과 카나나-오는 발화 지시 이행 능력을 평가하는 한국어 벤치마크 ‘InstructTTSEval’에서 94.50점을 기록, ‘GPT-4o-mini-tts(91.10점)’를 제치는 성과를 냈다. 카카오는 향후 웃음, 한숨, 감탄사 등 비언어적 표현까지 자연스럽게 구현하도록 기술 고도화를 이어갈 계획이다.</span></p> <p contents-hash="79796e42f834e747b7c87c5bb94d14f05e508205ea78735ab484f0ab1dc37015" dmcf-pid="y5Trged8SB" dmcf-ptype="general">정신아 카카오 대표는 앞서 2분기 실적 발표 콘퍼런스콜에서 “모바일 시대의 문법이 고정 화면에서 버튼을 누르는 GUI(그래픽 유저 인터페이스)였다면, AI 시대는 언어로 소통하는 AUI(언어 유저 인터페이스)로 전환되고 있다”며 “향후 카카오톡 내 AI와의 상호작용을 단순 텍스트를 넘어 실제 동료와 대화하는 듯한 음성 방식으로도 다변화할 것”이라고 밝혔다.</p> <div contents-hash="b9316b21b0acf22684ca557b315bc0eee9d5e7980c175f8f771cee9699f8e61e" dmcf-pid="W1ymadJ6Tq" dmcf-ptype="general"> <div> <strong>오픈AI·구글 등 글로벌 빅테크도 ‘인간형 음성 AI’ 승부수</strong> </div> <br> 글로벌 빅테크 역시 일찌감치 차별화된 ‘인간형 음성 AI’ 기술을 선보이며 본격적인 승부수를 띄웠다.<span></span> </div> <p contents-hash="dc84d7e89f5d56db5b72baeb7ff57b88e4a5d0eef3f0e63df497c411e0ca7f8c" dmcf-pid="YtWsNJiPlz" dmcf-ptype="general"><span>오픈AI는 최근 챗GPT에 한층 진화한 음성 기능인 ‘GPT-라이브’를 선보였다. 기존 음성 AI 서비스는 답변이 끝난 뒤에야 질문을 이어갈 수 있는 일종의 ‘턴(turn)제’ 방식으로 동작해 대화의 흐름이 자주 끊기는 한계가 있었다. 특히 대화 도중 이용자가 잠시 말을 멈추거나 생각에 잠기면, AI가 질문이 끝난 것으로 오인해 엉뚱한 답을 내놓는 경우가 다반사였다.</span></p> <p contents-hash="b9030ba2b0d743bb152c8bf716f324d0e5234d51fa2a5305c59915741b7e028d" dmcf-pid="GGhkiQx2y7" dmcf-ptype="general"><span>반면 GPT-라이브가 적용된 환경에서는 AI가 말을 하는 도중에도 자유롭게 말을 끊고 새로운 질문을 던질 수 있다. 질문 중간에 “어…”, “음…”과 같은 추임새나 망설임이 섞여도 문맥을 인지해 대화 상태를 지속한다. 오픈AI는 정교한 엔드포인팅(말의 끝맺음 인식)과 스트리밍 기술을 결합해 기존 순차 대화 방식의 한계를 극복했다.</span></p> <figure class="figure_frm origin_fig" contents-hash="a536d4a56254e209c8ddbfd826f9ada1ec590d7d64a6c7db31726da1a26492cc" dmcf-pid="HHlEnxMVSu" dmcf-ptype="figure"> <p class="link_figure"><img alt="제미나이 3.1 플래시 라이브. 사진 제공=구글" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/08/seouleconomy/20260808100139392mbss.png" data-org-width="1200" dmcf-mid="uWsNR48ByJ" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/08/seouleconomy/20260808100139392mbss.png" width="658"></p> <figcaption class="txt_caption default_figure"> 제미나이 3.1 플래시 라이브. 사진 제공=구글 </figcaption> </figure> <p contents-hash="3d6982003d50b7bc54fcb0e3199d07cc855db4726a4f543931d4bd5d3f17d3cb" dmcf-pid="XXSDLMRfTU" dmcf-ptype="general"><span>구글의 </span><span>오디오 및 음성 모델인 </span><span>‘</span><span>제미나이 3.1 플래시 라이브</span><span>’ 역시 대화 중단이나 주저함 같은 실제 오디오 환경의 특성을 반영해 복잡한 지시를 수행하고 장기적인 추론을 이어나가는 능력을 갖췄다. 특히 목소리의 음조나 속도 등 세부 음향 특성을 실시간으로 인식해 이용자의 불만이나 혼란이 담긴 표현에 맞춰 응답 톤을 유연하게 조절한다. </span><span>다국어 처리 능력도 기본 탑재돼 있어 한국어로도 끊김 없는 자연스러운 대화가 가능하다.</span></p> <p contents-hash="f4d07cc51b7571d7e6776e033f948627c00271fcfbf7128e1c9ac4365564c52b" dmcf-pid="ZZvwoRe4lp" dmcf-ptype="general"><span> 업계에서는 이러한 고도화된 음성 AI 기술이 스마트 안경, 핀형 웨어러블, 스마트 스피커, 헤드폰 등 다양한 폼팩터에 이식되며 사용자 접점을 한층 넓혀갈 것으로 전망하고 있다.</span></p> <figure class="figure_frm origin_fig" contents-hash="e6682cc881a1034b1ed22047b323cc29f3d50c7ffcaca4316036582cf9a552b0" dmcf-pid="55Trged8h0" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/08/seouleconomy/20260808100140680auep.png" data-org-width="500" dmcf-mid="zDxK3HXSve" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/08/seouleconomy/20260808100140680auep.png" width="658"></p> </figure> <p contents-hash="9b399780d657a5309260ac2abdc078e4462780f54ed83334fd40c82df2036815" dmcf-pid="11ymadJ6v3" dmcf-ptype="general">이진석 기자 ljs@sedaily.com</p> </section> </div> <p class="" data-translation="true">Copyright © 서울경제. 무단전재 및 재배포 금지.</p> 관련자료 이전 "제가 쏠게요" 이강인, 아틀레티고 선수단에 한식 대접 08-08 다음 "GPU 빨리 바뀌는데"…눈가린 네이버, 감가상각 '5년→6년' 08-08 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
