예측 불가 AI, 제품화는 어떡하나 …“운영계층 대상 평가·관측·통제가 핵심” 작성일 10-27 37 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">모델·RAG 조합마다 결과 달라 사전 설계 한계…지속 평가·드리프트 감시 필수</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="xPqKDHoMW4"> <figure class="figure_frm origin_fig" contents-hash="af05dedc06409d1ef4f364f063cdecec1b8a5dacac20d96f2db902145eb91322" dmcf-pid="yvDmqdtWCf" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/27/552796-pzfp7fF/20261027140940321aihg.jpg" data-org-width="640" dmcf-mid="Q28QlpDgh8" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/27/552796-pzfp7fF/20261027140940321aihg.jpg" width="658"></p> </figure> <p contents-hash="401686178da9c9fabf468d59c1c77b5cff2e116014019cb8e0d024deb5f0f53b" dmcf-pid="WTwsBJFYWV" dmcf-ptype="general">[디지털데일리 오병훈기자] <strong>“대규모언어모델(LLM)의 특성 자체가 비결정론적입니다. 같은 질문에도 답변을 예측할 수 없다는 것이 가장 큰 특징입니다. AI가 개념검증(PoC)을 넘어 실제 제품화되기 위해서는 이 비결정론 특성이 반드시 고려돼야 합니다.”</strong></p> <p contents-hash="24492a926ad86b05957ec50205077c3fdba99835be1b1bc595847d8d11898670" dmcf-pid="YyrObi3GT2" dmcf-ptype="general">최효근 레드햇 이사는 27일 서울 삼성동 웨스틴 서울 파르나스에서 열린 ‘레드햇 서밋: 커넥트 2026 서울’에서 인공지능(AI) 난제 ‘비결정론성’을 강조하면서 이같이 말했다.</p> <p contents-hash="8be9a6d0f1ef837899e71318ccb0dcc97457b72db0ce69dc275efb74022f278a" dmcf-pid="GWmIKn0HC9" dmcf-ptype="general">전통적인 IT 시스템은 조건과 규칙을 정해두면 동일한 입력에 같은 결과를 내놓는다. 테스트 커버리지와 품질보증(QA)을 통해 출시 전 기능이 제대로 작동하는지도 비교적 명확하게 검증할 수 있다. 하지만 LLM은 동일하거나 유사한 질문에도 매번 다른 답변을 생성할 수 있다. 모델 자체뿐 아니라 검색증강생성(RAG) 청킹(긴 문서를 작은 단위로 나누는 작업) 크기, 검색 방식, 프롬프트, 에이전트 패턴 등에 따라 결과가 달라진다.</p> <p contents-hash="b2220f0d43a97f67e014dc2acf07de80775909d3c9c7e4d980483149f21d3122" dmcf-pid="HXCSfa71SK" dmcf-ptype="general">기업 입장에서는 프로젝트 시작 단계에서 최적 조합을 한번 정해놓고 끝낼 수 없다. 실제 업무 질문을 지속적으로 입력해 결과를 평가하고, 운영 중 성능이 변하는 ‘드리프트’가 발생하지 않는지도 반복적으로 확인해야 한다는 것이 최 이사 설명이다.</p> <p contents-hash="5ec92bab74815c00370a96a931e0f33885fe23c4e44e55559a6f0f6436e06438" dmcf-pid="XZhv4Nztlb" dmcf-ptype="general">최 이사는 “모델 선택하는 작업을 이어가는 것만으로도 바쁜데 청킹 사이즈나 벡터·키워드 검색 비중, 임베딩과 리랭킹 모델, 에이전트 패턴까지 선택지가 계속 늘어난다”며 “모든 것을 미리 판단할 수 없기 때문에 평가 기반으로 어떤 구성이 실제 워크로드에 최적인지 계속 확인해야 한다”고 말했다.</p> <p contents-hash="1dba0881bd26d57a399a91195771d26145361d06f156936d41caff44955aadec" dmcf-pid="Z5lT8jqFCB" dmcf-ptype="general"><strong>◆모델 하나 바뀌어도 다시 검증…AI 운영 ‘숨은 비용’</strong></p> <p contents-hash="d30b55e4252580c5cc30efbe771ac0b0527d05816067163228150e625a0692d8" dmcf-pid="51Sy6AB3Sq" dmcf-ptype="general">비결정론성은 실제 AI 인프라 운영에서도 새로운 비용을 만든다는 것이 최 이사 설명이다.</p> <p contents-hash="0ec74d492d59a407760fa77960cb1ab0799ff8376eda892f0b9fb0445408feb8" dmcf-pid="1tvWPcb0Sz" dmcf-ptype="general">기업이 새 오픈모델을 도입할 경우 모델 성능만 확인하면 끝나는 것이 아니다. 해당 모델을 실제 GPU에서 구동할 추론엔진이 지원하는지, 기존 환경과 호환되는지, 보안상 문제는 없는지 다시 검증해야 한다는 것이다.</p> <p contents-hash="40695e2fe827e84f05a0cca6f970558abba98f0ec61455b13caa6aa098b4e007" dmcf-pid="tFTYQkKpC7" dmcf-ptype="general">최 이사는 대표 사례로 오픈소스 추론엔진 ‘vLLM’을 들었다. 신규 모델이 새로운 연산 방식을 사용하면 추론엔진 역시 이를 지원하는 버전으로 업데이트해야 한다.</p> <p contents-hash="715e400d9c17a707af2c65680f5935b11a81e3417eaf8ee33731ad8b9a9d4787" dmcf-pid="F3yGxE9UTu" dmcf-ptype="general">과거 버전 vLLM에서는 최신 모델 자체가 실행되지 않을 수 있다. 최신 엔진을 도입해야 하지만, 기업은 곧바로 보안과 호환성, 보유 중인 그래픽처리장치(GPU) 가속기에서 제대로 동작하는지 검증해야 한다.</p> <p contents-hash="7009c730e36dde60943a4d739e5f96eb4e21f5a2df7c02a1ffc69b1e76f424e5" dmcf-pid="30WHMD2uTU" dmcf-ptype="general">이 때문에 운영 단계에서는 모델별 평가 데이터셋 관리도 중요해진다. 실제 기업들은 핵심 질문을 중요도에 따라 골드·실버·브론즈 등으로 나눈다. 모델을 바꿀 때마다 같은 질문을 반복해 품질이 유지되는지를 확인하는 식으로 대응한다.</p> <p contents-hash="809e1f3b0ff6bbfc58c4f155e3e59847abafad53187ef2c6375980ec678954a2" dmcf-pid="0L6xSUwaWp" dmcf-ptype="general">아직 끝난 것이 아니다. 입출력 토큰과 모델 가중치(파라미터), 응용프로그램인터페이스(API) 키와 접근권한, 로그 등 부가적인 환경까지 함께 관리해야 한다.</p> <p contents-hash="33f41d30f6c333c7ccb4e1b0a9390587fe34c69e12996f1b4f9ed2d07effc327" dmcf-pid="poPMvurNC0" dmcf-ptype="general">실제 서비스 속도가 느려지는 상황도 단순하지 않다. 초당처리토큰(TPS)이 떨어졌다는 사실만 확인해서는 원인을 찾기 어렵다. GPU 사용률이 높더라도 어떤 사용자 요청이나 어떤 모델·애플리케이션이 자원을 점유했는지를 알아야 대응할 수 있기 때문이다.</p> <p contents-hash="415d85403b0763fae319ca7853604976cd5b43b87bd673be3a40d5334866b677" dmcf-pid="UgQRT7mjv3" dmcf-ptype="general">최 이사는 “GPU가 바쁘다는 사실만으로는 무엇이 GPU를 바쁘게 만들고 있는지 알 수 없다”며 “트레이스(사용자 요청이 거친 경로와 시간을 기록한 정보)까지 함께 저장해야 정확하게 원인을 파악할 수 있다”고 설명했다.</p> <p contents-hash="230df6e58fec03cbf51857ebfa86723715e743f19f7d18c375344697fb2fa677" dmcf-pid="uaxeyzsAWF" dmcf-ptype="general"><strong>◆답변에서 ‘행동’으로…에이전트 시대 통제 난도 더 커져</strong></p> <p contents-hash="5f479bd7ef0db91499be11ba72258580bd0a54bde894a181b2a025609ae2de62" dmcf-pid="7NMdWqOcWt" dmcf-ptype="general">AI가 에이전트 단계로 넘어가면 비결정론성 위험은 한층 커졌다는 것이 최 이사 설명이다. 기존 생성형 AI는 질문에 답을 생성하면 사용자가 이를 보고 실제 행동 여부를 결정했다. 에이전틱 AI는 목표를 받은 뒤 스스로 계획을 세우고 필요한 도구를 선택한 뒤 실제 작업까지 수행한다.</p> <p contents-hash="de987e9607863f5f474473a2cd5245e574afbe35e6cafd6ca59d26797c1e3bdc" dmcf-pid="zjRJYBIkS1" dmcf-ptype="general">기업 입장에서는 모델의 답변 품질뿐 아니라 ‘어떤 도구에 접근할 수 있는지’, ‘어떤 파일과 시스템을 조작할 수 있는지’까지 통제해야 한다.</p> <p contents-hash="eb0afc224d9f46535428bd5e6c46fa420929e8f78b420a67c63eda70e8984b8b" dmcf-pid="qAeiGbCEh5" dmcf-ptype="general">최 이사는 “에이전틱 AI에서는 플래닝부터 도구 선택, 작업 결과 판단까지 AI가 수행한다”며 “모든 도구를 열어둘 수 없는 만큼 툴 관리와 실제 액션을 수행하는 체계까지 기업 통제권 안에 들어와야 한다”고 강조했다.</p> <p contents-hash="c99f1f9220c80c19072407809a5254e851b438b3cc458c3b9341208937eeed52" dmcf-pid="BcdnHKhDlZ" dmcf-ptype="general">예를 들어 약 200개 PDF 문서를 읽고 보고서를 작성하는 AI 에이전트가 인용 내용을 검증한 뒤 그래프까지 생성한다고 가정해보자. 이 과정에서 에이전트가 직접 파이썬 프로그램을 작성해 실행해야 한다면 단순한 챗봇과는 위험 수준이 달라진다.</p> <p contents-hash="22e247bb5f4efa6f41156c508cb82b57d97fad47a2a5fea9945bc49d83b3842e" dmcf-pid="bkJLX9lwSX" dmcf-ptype="general">레드햇은 이 같은 작업을 별도 실험환경 안에서 실행하도록 구성했다. 사용자 요청 이후 작업 과정에서 외부 네트워크 접근을 차단하고 CPU·메모리 사용량을 제한한 환경에서만 AI가 생성한 코드를 실행하도록 했다.</p> <p contents-hash="c42423f96fb19cb668c4fda7d335f9285f7169575a86f606f12e20035b4674a2" dmcf-pid="KwLa1fTsvH" dmcf-ptype="general">그는 “분리된 환경에서 에이전트 전체 작업을 이어갈 수 있고 특정 프로세스만 통제하는 방법도 있다”며 “두 방식 모두 필요하고 플랫폼 차원에서 이를 제공하는 것이 앞으로 AI 플랫폼의 기능 요건이 될 것”이라고 말했다.</p> <p contents-hash="27dd174e2346231aceb8604621bfec178ad1e12327ce3e078426a534a0e7ddb4" dmcf-pid="9roNt4yOlG" dmcf-ptype="general">이같은 문제에 레드햇은 모델 추론부터 평가, 에이전트 행동까지 하나의 컨트롤 플레인에서 관리하는 것을 AI 제품화 전략 핵심으로 내세웠다.</p> <p contents-hash="aee46ed726321bd415a5a2f5c0a32cb54c0ad59a4c166c8a13b970dfe2266b6c" dmcf-pid="2mgjF8WIWY" dmcf-ptype="general">레드햇 오픈시프트 AI에서는 검증된 모델을 제공하는 모델 카탈로그와 최신 vLLM을 빠르게 적용하기 위한 패스트 빌드, 다양한 평가도구를 통합하는 이밸 허브(Eval Hub) 등을 제공한다.</p> <p contents-hash="a128355e7bbe02bead5b88466b1bae95f4437776861864ee5fa0d02678c6ea58" dmcf-pid="VsaA36YCyW" dmcf-ptype="general">최 이사는 AI 프로젝트에서 비용과 안전성, 애플리케이션 품질, 프로덕션 전환 방법 등 여러 장벽이 동시에 발생하는 만큼 기존 인프라·개발·현업 조직의 협업 역시 중요하다고 강조했다.</p> <p contents-hash="f616372d2f36c3884e5e70a3d01888c9a30b17f1894b4e07c142c079af776224" dmcf-pid="fONc0PGhyy" dmcf-ptype="general">그는 “PoC 단계에서는 오픈소스 도구만으로도 상당 부분 빠르게 시험해볼 수 있다”며 “실제 프로덕션에서는 품질과 가드레일, 성능 등 새로운 문제가 발생하는 만큼 완성된 플랫폼을 기반으로 시간을 줄이고 애플리케이션 품질을 높이는 접근이 필요하다”고 말했다.</p> </section> </div> <p class="" data-translation="true">Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.</p> 관련자료 이전 히스로공항, 어도비 AI 입는다...“개인 맞춤형 경험으로 모든 여정 더 낫게” 10-27 다음 인텔, 이스라엘 양자 SW 스타트업 '클래식' 인수…22억 달러 베팅 10-27 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
