전병곤 프렌들리AI 대표 "사람 같은 AI 로봇?...'단기 기억' 재사용 기술이 해법" 작성일 10-14 55 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">"긴 작업 이력·영상 입력 쌓일수록 GPU 메모리 부담 커져"<br>전병곤 대표, 캐시 재사용·GPU 라우팅 해법 제시</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="3pWI5DB3lK"> <p contents-hash="22518b7ec62e531cd91c50a6ceec2f7bf8b12d6b47f073b457a29853197bbe18" dmcf-pid="0UYC1wb0Tb" dmcf-ptype="general">[아이뉴스24 최효경 기자] 피지컬 인공지능(AI)이 사람처럼 판단하고 움직이려면 로봇이 방금 본 영상·센서 정보와 직전 작업 결과를 다음 행동에 빠르게 활용할 수 있어야 한다. 하지만 이때 AI가 이미 읽은 정보의 처리 결과를 저장해 두는 '단기 기억(KV 캐시)'이 커지면 그래픽처리장치(GPU) 메모리 부담과 응답 지연도 늘어난다.</p> <p contents-hash="039dd7abe6c9c15aecd4bd1303c0f459e2b0e399153046eb90ec9b9bf517dffa" dmcf-pid="pZCEya0HSB" dmcf-ptype="general">단기 기억은 AI가 이미 읽은 대화·코드·영상 등의 처리 결과를 다음 판단에 다시 쓰기 위해 남겨두는 'KV 캐시(Key-Value Cache)'를 뜻한다. 전병곤 프렌들리AI 대표는 이 정보를 매번 다시 계산하지 않고 보관·재사용하는 추론 인프라를 해법으로 제시했다</p> <figure class="figure_frm origin_fig" contents-hash="65518777d317b1478a9e0b33ff5cbfb4763ad36c0c5d8b17980c949836706afb" dmcf-pid="U5hDWNpXTq" dmcf-ptype="figure"> <p class="link_figure"><img alt="전병곤 프렌들리AI 대표가 14일 서울 강남구 코엑스에서 열린 '피지컬 AI 테크위크'에서 기조강연을 하고 있다. [사진=최효경 기자]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/14/inews24/20261014170315956cowg.jpg" data-org-width="580" dmcf-mid="tzwaCJZvh2" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/14/inews24/20261014170315956cowg.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 전병곤 프렌들리AI 대표가 14일 서울 강남구 코엑스에서 열린 '피지컬 AI 테크위크'에서 기조강연을 하고 있다. [사진=최효경 기자] </figcaption> </figure> <p contents-hash="7a01056a805336da0fc898a177f4705213e008bd73828fce51ba2c98c38714e1" dmcf-pid="u1lwYjUZWz" dmcf-ptype="general">전병곤 대표는 14일 서울 강남구 코엑스에서 과학기술정보통신부 주최, 피지컬 AI 얼라이언스와 정보통신산업진흥원(NIPA) 주관으로 열린 '피지컬 AI 테크 데이'에서 "코딩·과학·로봇 에이전트는 모두 여러 단계의 계획과 실행을 반복하며 작업을 이어간다"며 "AI 모델이 한 번 답을 내놓는 데 그치지 않고, 이전 작업 결과를 바탕으로 다음 행동을 결정하는 만큼 이를 뒷받침하는 '추론 기술'이 중요하다"고 말했다.</p> <h3 contents-hash="d3f70506cc458dc01506c83b1b12da33b63d04ebc667e92918a2fdbbc6596fbc" dmcf-pid="7tSrGAu5S7" dmcf-ptype="h3"> 챗봇은 한 번 답하고, 에이전트는 끝날 때까지 일한다 </h3> <p contents-hash="20ae5f5324f06479bc0d755cd5b1c7f73f943ee6587536ea8360d0b70dba24e9" dmcf-pid="zFvmHc71Cu" dmcf-ptype="general">전 대표는 "GLM-5 사례에서는 작업 이력이 3만 2000토큰일 때 2.74기가바이트(GiB)였던 KV 캐시가 12만 8000토큰으로 늘자 10.97GiB까지 커졌다"고 말했다. 작업 이력이 길어질수록 GPU 메모리 부담이 커지고, 같은 장비에서 동시에 처리할 수 있는 에이전트 수는 줄어든다는 것이다. GLM-5는 중국 AI 기업 지푸AI가 만든 대규모 언어모델(LLM)이다.</p> <p contents-hash="38b671b2d84db492ecce8a407c21681d4a3ffae74be8107f4d4e9706bb094230" dmcf-pid="q3TsXkzthU" dmcf-ptype="general">일반 챗봇은 질문을 받고 답을 내놓으면 대화가 끝난다. 반면 AI 에이전트는 파일을 읽고 코드를 수정한 뒤 테스트를 실행하고, 결과에 따라 다시 작업하는 식으로 과업이 끝날 때까지 여러 단계를 반복한다.</p> <p contents-hash="46e783a40ea9ddf380bfe9520cfec83acbd3ebec3179e41ad73b2c8525d94801" dmcf-pid="B0yOZEqFSp" dmcf-ptype="general">이 과정에서 앞선 대화와 작업 결과는 다음 판단을 위한 입력값으로 계속 쌓인다. AI가 이미 처리한 정보를 임시로 보관하는 'KV 캐시'도 함께 커진다.</p> <p contents-hash="4b185cf7dbb1c79f94f2b670b9fe162c4328c321db0bf93332cd5e51dc920d25" dmcf-pid="bpWI5DB3T0" dmcf-ptype="general">그는 로봇도 이와 같은 문제를 안고 있다는 점에 주목했다. "자율 로봇은 카메라 영상과 센서 정보, 직전 행동 결과를 계속 축적한 뒤 이를 바탕으로 다음 움직임을 판단해야 하기 때문에 오히려 더 KV캐시 부담 문제가 더 클 수 있다"는 분석이다.</p> <h3 contents-hash="d731661a55ab576755b9632bffb39c27795a3be49b10b68d09b28898bb134eb7" dmcf-pid="KUYC1wb0l3" dmcf-ptype="h3"> 프렌들리AI, '다시 계산하지 않기' 해법 제시 </h3> <p contents-hash="ab67d0c78c6cb2cf10a7310355b4589c2b85702e436f8e97060b0c030bdf1bcd" dmcf-pid="9uGhtrKpyF" dmcf-ptype="general">전 대표는 이 같은 문제를 해결하기 위한 인프라로 프렌들리AI의 AI 에이전트용 추론 클라우드를 소개했다. 그는 "핵심은 AI가 이미 읽은 코드·대화·영상 등 작업 맥락을 매번 처음부터 다시 계산하지 않도록 하는 것"이라고 설명했다.</p> <p contents-hash="0ce6bdc4f9773850106cbb2c5b65bf6116c8961e3d5b33a0a154e8c284fb4ff8" dmcf-pid="2Mb04ZnQTt" dmcf-ptype="general">짧은 도구 실행 대기 중에는 KV 캐시를 GPU 메모리에 유지하고, 사람이 다시 입력하기까지 긴 공백이 생기면 서버 메모리(DRAM)나 공유 저장소로 옮긴 뒤 필요할 때 복원하는 방식이다. 다음 요청도 해당 작업 이력이 남아 있는 GPU로 보내 재계산을 줄이는 '캐시 인식 라우팅' 기술을 적용한다.</p> <p contents-hash="cd0caadd893554f62d5dc65091b8e8f2fbdf7fbdc6d7c9465ae1cb93d403a905" dmcf-pid="VRKp85Lxl1" dmcf-ptype="general">전 대표는 "이미 작업 이력이 남아 있는 GPU에서 응답 생성을 시작하기까지 0.5초가 걸린 반면, 캐시가 없는 GPU에서는 이전 문맥을 다시 처리하는 데 3.1초가 걸렸다"고 말했다. 이에 글로벌 GPU 클러스터의 라우팅·자동확장, 여러 요청을 묶어 처리하는 컨티뉴어스 배칭, 작업 맥락 재사용 기술을 함께 활용해야 한다는 설명이다.</p> <p contents-hash="b2b4eec3d77ce79696376d36cd51fabbac0468621b9e5993fe0a5651c1fe332c" dmcf-pid="fe9U61oMS5" dmcf-ptype="general">전 대표는 300만 이용자를 둔 코딩 에이전트 '킬로(Kilo)'의 GLM-5 공급자 평가 사례도 공개했다. 그는 "킬로 측 평가에 따르면 프렌들리AI는 다른 공급자보다 지속적으로 7배 빠르고 오류율도 낮았다"고 말했다.</p> <figure class="figure_frm origin_fig" contents-hash="982d8f4ea8e928d07f24a111f72555188dcb5af15782292b14ce79d819530116" dmcf-pid="4d2uPtgRhZ" dmcf-ptype="figure"> <p class="link_figure"><img alt="(왼쪽부터) 류제명 과기정통부 차관, 박윤규 NIPA 원장이 14일 서울 강남구 코엑스에서 열린 '피지컬 AI 테크데이'에서 개회사를 하고 있다. [사진=최효경 기자]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/14/inews24/20261014170317212xxxz.jpg" data-org-width="630" dmcf-mid="FIGhtrKpT9" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/14/inews24/20261014170317212xxxz.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> (왼쪽부터) 류제명 과기정통부 차관, 박윤규 NIPA 원장이 14일 서울 강남구 코엑스에서 열린 '피지컬 AI 테크데이'에서 개회사를 하고 있다. [사진=최효경 기자] </figcaption> </figure> <p contents-hash="71eac217528089d8eca4b54601ae0e61f053a86f5d04cfc2e6e2df3fb967da3a" dmcf-pid="8JV7QFaeTX" dmcf-ptype="general">한편 류제명 과학기술정보통신부 차관은 개회사에서 "AI가 디지털 공간을 넘어 현실 세계로 확장되고 있다"며 "피지컬 AI가 산업 현장의 생산성과 안전성을 높이고 새 제품·서비스를 만드는 핵심 기술이 될 수 있다"고 말했다.</p> <p contents-hash="59d4184c45be0a9ede8af3a7507f465b442935a0e07e685e7b63eccb8647eaba" dmcf-pid="6ifzx3NdyH" dmcf-ptype="general">박윤규 정보통신산업진흥원(NIPA) 원장은 "AI의 가치는 단순 도입 규모가 아니라 일하는 방식과 산업 구조를 얼마나 바꾸는지에 달려 있다"며 "피지컬 AI를 통해 제조 현장의 데이터와 AI 모델, 운영 체계를 유기적으로 연결하겠다"고 밝혔다.</p> <address contents-hash="ba432df1cc484908ab4d51a5dda2620b1288c15efb8c87743f1aed825f0a9058" dmcf-pid="Pn4qM0jJCG" dmcf-ptype="general">/최효경 기자<a href="mailto:hyomirror@inews24.com" target="_blank">(hyomirror@inews24.com)</a> </address> </section> </div> <p class="" data-translation="true">Copyright © 아이뉴스24. 무단전재 및 재배포 금지.</p> 관련자료 이전 미 FBI, 17개 주 70여개 기업 속인 북한 IT인력 위장취업망 적발 무력화 10-14 다음 토버, 디지털 트윈으로 전국 첫 전통시장 안전 플랫폼 구축나서 10-14 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
