레드햇 "높은 AI 비용 장벽, 오픈 플랫폼으로 해결" 작성일 06-05 94 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">[CIS2025] AI 도입 이슈 해결 방안 제시…기업 vLLM 활용 소개도</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="H60Syz2XiS"> <p contents-hash="91a9f23902ee5464d0554bc54515c5120dd5b6cd0f1875cae66389ccf9f4e373" dmcf-pid="XPpvWqVZLl" dmcf-ptype="general">(지디넷코리아=김미정 기자)"기업의 생성형 인공지능(AI) 도입을 여전히 가로막는 장애물은 고비용과 복잡성, 유연성 부족입니다. 이를 해결하려면 누구나 쉽게 모델을 최적화할 수 있는 오픈 플랫폼이 필요합니다. 비용 절감을 위한 경량화 기술, 멀티 클라우드 환경을 아우르는 유연한 배포 체계도 필수입니다."</p> <p contents-hash="58e9db02540fd5ed098ede07b1ab68ace952b04e671cb6b5ad7d24ae6abcf713" dmcf-pid="Z25Oh0qyRh" dmcf-ptype="general">한국레드햇 유혁 테크세일즈팀 상무는 5일 지디넷코리아가 그랜드 인터컨티넨탈 서울 파르나스 그랜드볼룸에서 개최한 '컨버전스 인사이트 서밋(CIS) 2025'에서 'AI의 대중화를 넘어, 비용효율적 AI로'를 주제로 이같이 밝혔다.</p> <p contents-hash="c20de527bb4c2d7575beb33e3776883c3fe8dd475d4a66286ecd85bc22cf30c9" dmcf-pid="5V1IlpBWiC" dmcf-ptype="general">유 상무는 "복잡한 튜닝 프로세스와 높은 추론 비용, 인프라 유연성 부족이 기업의 AI 확산을 가로막고 있다"며 "특히 비전문가가 기업 데이터로 AI 모델을 맞춤화하는 데 겪는 어려움이 크다"고 진단했다.</p> <figure class="figure_frm origin_fig" contents-hash="3def5aa330cd2da8551d9b7da6050c51a27e5af9499d578646e096729561ad85" dmcf-pid="1ftCSUbYRI" dmcf-ptype="figure"> <p class="link_figure"><img alt="레드햇 유혁 테크세일즈 상무." class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202506/05/ZDNetKorea/20250605135316903lyou.jpg" data-org-width="639" dmcf-mid="YJyQRwCniT" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202506/05/ZDNetKorea/20250605135316903lyou.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 레드햇 유혁 테크세일즈 상무. </figcaption> </figure> <p contents-hash="431f59b9dae664861abbcaafd26c70c0ee5272701df5331b63548a86fcb55ac7" dmcf-pid="t4FhvuKGiO" dmcf-ptype="general">유 상무는 AI 도입 비용 절감 전략으로 뉴럴매직을 통한 가상거대언어모델(vLLM) 기반 추론 최적화를 제시했다. </p> <p contents-hash="5f0b66eab7c068cad787bfe899998cf1aabdbaab8b9e03c5dea867bee118d92a" dmcf-pid="F83lT79Hns" dmcf-ptype="general">그는 "메타의 라마 같은 모델을 FP16이나 FP8 같은 간소한 형식으로 압축하면, 메모리 사용량과 응답 시간을 줄이면서도 정확도를 유지할 수 있다<span>"고 설명했다. 그러면서 "실제 AI 챗봇·상품 리뷰 요약 서비스 사례에서 </span><span>vLLM을 통해 약 40%의 비용 절감 효과를 거뒀다"고 덧붙였다.</span></p> <p contents-hash="a2a6a473b7b0f9e3009df8d43a6d6be8037195fd4b8de7790400163e3e74800a" dmcf-pid="360Syz2Xdm" dmcf-ptype="general">레드햇은 이에 대한 해법으로 복잡성 대응 전략을 내세웠다. 핵심은 '그래닛(Granite)' 모델과 '인스트럭트랩(InstructLab)' 툴이다. 그래닛은 특정 도메인에 최적화된 오픈소스 고성능 모델이다. 기업이 프라이빗 데이터를 기반으로 신뢰성 있게 활용할 수 있도록 설계됐다.</p> <figure class="figure_frm origin_fig" contents-hash="91a9d56bf701e67aa4fc913bff6ebe0fc8b9986bfe8653f32833155b1ad101d1" dmcf-pid="0PpvWqVZJr" dmcf-ptype="figure"> <p class="link_figure"><img alt="인스트럭트랩은 비전문가도 쉽게 모델을 커스터마이징할 수 있도록 지원하는 툴이다." class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202506/05/ZDNetKorea/20250605135318190oekt.jpg" data-org-width="639" dmcf-mid="Gs6p7RLKJv" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202506/05/ZDNetKorea/20250605135318190oekt.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 인스트럭트랩은 비전문가도 쉽게 모델을 커스터마이징할 수 있도록 지원하는 툴이다. </figcaption> </figure> <p contents-hash="980adb6e68f2ae2b78889872fd2bd1270a5fada4e431f782df87cefd4ba735c6" dmcf-pid="pQUTYBf5Lw" dmcf-ptype="general">인스트럭트랩은 비전문가도 쉽게 모델을 커스터마이징할 수 있도록 지원하는 툴이다. 챗봇 성능 향상을 위한 대규모 정렬(<span>LAB)</span><span> 방식인 '교사–비평자–학생' 구조로 이뤄진 자동 튜닝의 데이터 생성과 자동 튜닝으로 모델을 훈련한다. </span></p> <p contents-hash="75e8605bc4187fcd86d360bbe2de07e78f9e68b0ada69d111cbb7f74dd7572d4" dmcf-pid="UxuyGb41eD" dmcf-ptype="general"><span>이는 '오픈시프트 AI'와 '레드햇 엔터프라이즈 리눅스(RHEL) AI'와 연계돼 단일 서버부터 클러스터 환경까지 이용 가능하다.</span></p> <p contents-hash="e88338d22f178e66d21ca83f6b9dba82313a343e19c9f16e692c05555459d1ed" dmcf-pid="uM7WHK8teE" dmcf-ptype="general">레드햇은 유연성 확보를 위한 방안으로 '레드햇 오픈시프트 AI(RHOAI)' 기반 하이브리드 전략을 설명했다. 해당 플랫폼은 프라이빗 클라우드와 퍼블릭 클라우드, 엣지 등 다양한 환경에 맞게 AI 앱과 모델을 배포할 수 있게 돕는다. 이 플랫폼은 데이터 현지화와 규제 대응, 저지연 추론 처리 등도 지원한다. 또 ML옵스 기반 자동화된 모델 생애주기 관리, 재학습, 편향 탐지까지 가능하다는 설명이다.</p> <p contents-hash="2607a1614f678122e892568e7b54305b25c104d93d954787d6bd2d39892278f9" dmcf-pid="7RzYX96FRk" dmcf-ptype="general">유 상무는 "AI 도입은 단순히 모델 하나를 도입하는 것이 아니라, 학습·추론·앱 통합까지 전체 라이프사이클을 관리할 수 있어야 진정한 효과를 볼 수 있다"며 "우리는 오픈소스 기반 전략을 통해 이를 효율적으로 실현할 수 있다"고 말했다.</p> <p contents-hash="532af9743033de0ec7c15df7ba0d334d6f2dd444cc94c82ec00ac3b537a920ca" dmcf-pid="zeqGZ2P3ic" dmcf-ptype="general">김미정 기자(notyetkim@zdnet.co.kr)</p> </section> </div> <p class="" data-translation="true">Copyright © 지디넷코리아. 무단전재 및 재배포 금지.</p> 관련자료 이전 '나인 퍼즐' 김다미 "숏컷에 안경까지…'코난' 닮았다고요?" [인터뷰]② 06-05 다음 [영상] 서울-대전-부산 동시 댄스 퍼포먼스… '렉 없는' 6G 시대 엿보니 06-05 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
