AI 인프라 병목 해법…"메모리·컴퓨트 결합이 다음 승부처" 작성일 11-03 41 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">[SK AI 서밋] AI 인프라 병목의 메모리 중심 해법 모색 <br>폭증하는 추론 연산…니어메모리·병렬 메모리 구도 부상</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="5EdS1ipXyi"> <p contents-hash="611cd8a24c0f04aed55a8003c3791ef2f52ae798dc7ad4844dc044e03917c05b" dmcf-pid="1DJvtnUZSJ" dmcf-ptype="general">[아이뉴스24 박지은 기자] SK하이닉스가 차세대 인공지능(AI) 인프라의 핵심 과제로 메모리와 컴퓨트의 결합을 제시했다.</p> <p contents-hash="9e157cd102cdd077d5c5cd2e30ad8a879e4ab20ed4d294910b68b82369c071bc" dmcf-pid="twiTFLu5Sd" dmcf-ptype="general">대규모 언어모델(LLM) 확산과 함께 AI 연산이 학습에서 추론 중심으로 이동하면서, 기존 GPU 중심 구조만으로는 처리·전력·지연(latency) 요구를 감당하기 어렵다는 진단이다.</p> <figure class="figure_frm origin_fig" contents-hash="f30b8e781dbab41b53f53b3b76d69a1a55672b53db397ff9fa5b6171945b759a" dmcf-pid="FHsu4Ix2We" dmcf-ptype="figure"> <p class="link_figure"><img alt="김창규 메타 수석엔지니어가 3일 서울 강남구 코엑스 'SK AI 서밋' 세션 무대에 올라 발언하는 모습.(아래, 왼쪽부터) 필립 웡 TSMC 수석 과학자, 김창규 메타 수석엔지니어, 찰스 판 멤버지 창업자, 김호식 SK하이닉스 부사장. [사진=박지은 기자]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202511/03/inews24/20251103171115256cspx.jpg" data-org-width="580" dmcf-mid="1FOgmBhDyZ" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202511/03/inews24/20251103171115256cspx.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 김창규 메타 수석엔지니어가 3일 서울 강남구 코엑스 'SK AI 서밋' 세션 무대에 올라 발언하는 모습.(아래, 왼쪽부터) 필립 웡 TSMC 수석 과학자, 김창규 메타 수석엔지니어, 찰스 판 멤버지 창업자, 김호식 SK하이닉스 부사장. [사진=박지은 기자] </figcaption> </figure> <figure class="figure_frm origin_fig" contents-hash="1c94afb0d528d9df7a003739a672f2478fdef5e48a6eb3d4e820dd125a5c362b" dmcf-pid="3XO78CMVWR" dmcf-ptype="figure"> <p class="link_figure"><img alt="(아래, 왼쪽부터) 필립 웡 TSMC 수석 과학자, 김창규 메타 수석엔지니어, 찰스 판 멤버지 창업자, 김호식 SK하이닉스 부사장. [사진=박지은 기자]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202511/03/inews24/20251103171116551fijx.jpg" data-org-width="580" dmcf-mid="XoK1BEV7WL" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202511/03/inews24/20251103171116551fijx.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> (아래, 왼쪽부터) 필립 웡 TSMC 수석 과학자, 김창규 메타 수석엔지니어, 찰스 판 멤버지 창업자, 김호식 SK하이닉스 부사장. [사진=박지은 기자] </figcaption> </figure> <p contents-hash="0a27b54823f91c12cd225621d8e7dedb28e2d80757651ffd0a850b22fdb3f19c" dmcf-pid="0ZIz6hRfCM" dmcf-ptype="general">김호식 SK하이닉스 부사장(메모리 시스템 연구)은 3일 서울 강남구 코엑스에서 열린 ‘SK AI 서밋’에서 “AI 병목은 메모리 대역폭과 용량 모두에서 발생한다”며 “전통적 메모리 피라미드에서 벗어난 병렬 계층구조가 필요해지고 있다”고 말했다.</p> <p contents-hash="a78af7802dbd1d9efdeec1da40c3646c6dc370bd59904ff41bf637fc3257f1dd" dmcf-pid="p5CqPle4Tx" dmcf-ptype="general">이어 “컴퓨트와 메모리를 인접 배치하는 니어-메모리 프로세싱, 메모리 위에 연산을 얹는 구조까지 검토 중”이라며 “전력 효율도 새 병목으로 부상해 관련 아키텍처 대안을 탐색하고 있고, 곧 제품이 나올 것”이라고 밝혔다.</p> <p contents-hash="ba90fcb4e73b2dd7dbe805d8e15cbf22e873357dc399985b14f73df1c3672a7c" dmcf-pid="U1hBQSd8hQ" dmcf-ptype="general">니어-메모리 프로세싱은 메모리 근처에 연산 기능을 붙여 데이터 이동을 줄이는 방식이다.</p> <p contents-hash="7550899081cce8e68726c4508dbecc73978fe4b67e56f6f310dc5ddc687d8f2e" dmcf-pid="utlbxvJ6WP" dmcf-ptype="general">이 같은 기술 전환의 배경으로는 모델 규모와 컨텍스트 길이 확대가 지목됐다.</p> <p contents-hash="5fcef553ab175284bb5fb3369d447002989a5824e432046b68bfb9cd05d04b79" dmcf-pid="7FSKMTiPl6" dmcf-ptype="general">GPU 연산 성능 개선 속도와 시스템 메모리 접근 효율 개선 속도 간 격차가 벌어지고, 추론 과정에서 대량의 데이터 이동이 반복되면서 비용과 반응성이 좌우되는 구조가 됐다는 것이다.</p> <p contents-hash="5d56f2992b269641e7050a46cc1763a7136565f201cb73f812e44ad028e7e685" dmcf-pid="z3v9RynQS8" dmcf-ptype="general">이날 세션은 필립 웡 TSMC 수석과학자(미국 스탠퍼드대 교수)가 좌장을 맡고 김창규 메타 수석엔지니어, 찰스 판 멤버지 창업자가 패널로 나섰다.</p> <p contents-hash="9e40b1b4b5a6611dc28ff4376e511397d3125e1decf098c6b17466e7e8d07fb9" dmcf-pid="q0T2eWLxh4" dmcf-ptype="general">김창규 메타 수석엔지니어는 “AI 중심축이 학습에서 추론으로 이동했다”며 “토큰 생성 단계의 데이터 이동이 사용자 경험과 비용을 결정한다”고 말했다.</p> <p contents-hash="589fd31e2cd594461f8b67bc118c5d8a9cbd660cd5158a931c6d01b2c50df52b" dmcf-pid="BpyVdYoMvf" dmcf-ptype="general">찰스 판 창업자는 “가중치·작업 메모리·지속 콘텐츠 계층이 확대되고 GPU 간 상태 공유가 필수로 바뀌고 있다”며 “HW·SW 혁신이 동시에 요구된다”고 했다.</p> <p contents-hash="630f9711128b4cb1897936d8255bfc35fe0b12caaedb592d3f808215ce18427a" dmcf-pid="bhjZzc9UlV" dmcf-ptype="general">업계는 반도체 구조 전환이 메모리 시장 지형에도 변화를 가져올 것으로 보고 있다.</p> <p contents-hash="431a0a8b49353d55350bae574c7a14fb02f141b7511584d4f2452b288a23333b" dmcf-pid="KlA5qk2uy2" dmcf-ptype="general">실제로 스토리지와 메모리 경계는 허물어지는 추세다. 대규모 컨텍스트를 처리하는 추론 수요가 늘면서 고대역폭 낸드(HBF)와 거고대역폭메모리(HBM) 기반 솔리드스테이트드라이브(SSD) 구조가 검토되고 있다. 메모리와 저장장치를 물리적으로 가깝게 배치해 지연을 최소화하려는 움직임이다.</p> <p contents-hash="a0f6fa2854cdf1f434ad08029bce9865fc910a2da9d386bd6db20a21886bac46" dmcf-pid="9Sc1BEV7T9" dmcf-ptype="general">패키징 기술 경쟁도 치열해질 전망이다. 2.5D·3D 패키징, 실리콘 인터포저, 칩렛 구조 등이 주요 대안으로 꼽힌다. 칩 간 데이터 이동 거리를 줄여 시스템 효율을 높이는 전략이다.</p> <figure class="figure_frm origin_fig" contents-hash="2513fe73288fb6bc3e99c1f42558b2346585e18a94c1e88240de3dbc5cdced32" dmcf-pid="2vktbDfzhK" dmcf-ptype="figure"> <p class="link_figure"><img alt="최태원 SK그룹 회장이 3일 오후 서울 강남구 코엑스에서 열린 'SK AI 서밋' 메모리 관련 세션을 듣는 모습. [사진=박지은 기자]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202511/03/inews24/20251103171117839uhyf.jpg" data-org-width="580" dmcf-mid="ZtT2eWLxCn" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202511/03/inews24/20251103171117839uhyf.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 최태원 SK그룹 회장이 3일 오후 서울 강남구 코엑스에서 열린 'SK AI 서밋' 메모리 관련 세션을 듣는 모습. [사진=박지은 기자] </figcaption> </figure> <p contents-hash="d7e33325b9734b43ca0bd004862ed823cf1c098f249351fa49d87720393f9499" dmcf-pid="VTEFKw4qWb" dmcf-ptype="general">전력 효율 역시 핵심 변수다. AI 데이터센터 전력 수요가 급증하면서 냉각 기술과 전력 공급 인프라가 비용 구조를 좌우하는 요소로 떠올랐다. 업계는 액침냉각, 고효율 전원 설계 등 대비책을 검토하고 있다.</p> <p contents-hash="27357995fcccceb246c71e37f612c9dec3ce6453441b028783776fd17fa7f228" dmcf-pid="fyD39r8BhB" dmcf-ptype="general">5년 후 열릴 SK AI 서밋에서 다룰 것으로 예상되는 '변화'에 대한 질문도 나왔다. 김 부사장은 “지금은 AI 시대의 출발점”이라며 “LLM을 넘어 물리 세계를 이해하는 월드 모델이 등장할 것”이라고 전망했다.</p> <p contents-hash="685b960f52539808b5f518c40e356512104c0b224a1506c98d2bb7c7e2417a40" dmcf-pid="4Ww02m6bWq" dmcf-ptype="general">올해 SK AI 서밋은 ‘AI의 현재, 그리고 다음’(AI NOW&NEXT)을 주제로 열렸다. 오는 4일까지 엔비디아, LG AI연구원, 네이버 등이 AI 비전과 전략을 발표한다.</p> <address contents-hash="711dbf65cdfb074444ce423ee3df1a5794f756d1f9ed805ba5fbc6d6baafdc7e" dmcf-pid="8YrpVsPKhz" dmcf-ptype="general">/박지은 기자<span>(qqji0516@inews24.com)</span> </address> </section> </div> <p class="" data-translation="true">Copyright © 아이뉴스24. 무단전재 및 재배포 금지.</p> 관련자료 이전 ‘마약 투약’ 박유천, 대마 혐의 배우와 日 드라마 출연 11-03 다음 달리던 테슬라에 운석이 ‘쾅!’… 세계 첫 충돌 사례? 11-03 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
