“에이전틱 AI가 ‘CUDA 해자’ 없앴다…AI 인프라는 이제 랙 단위 경쟁” 작성일 07-24 50 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">리사수 30년 영혼의 단짝<br>마크 페이퍼마스터 AMD CTO 인터뷰<br>“에이전트 확산에 CPU 중요성 커져”<br>삼성과 HBM4 12단 적층 공동 개발<br>“저지연 작업은 세레브라스에 맡겨”<br>맞춤형 칩 확산에도 “범용 GPU 필요”</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="6yQ7sf2uyO"> <figure class="figure_frm origin_fig" contents-hash="415afc19a4a55e898c6d1f0f9ac91307079d365de87481bc5005595040dc11bd" dmcf-pid="PWxzO4V7Ts" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/24/ked/20260724164909401eufi.jpg" data-org-width="1200" dmcf-mid="8oLfyeMVlI" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/24/ked/20260724164909401eufi.jpg" width="658"></p> </figure> <p contents-hash="806eee59ad97dbf72620b0e0f4c10b6d78bc3fc08be4f6406bd82fc8b23efd54" dmcf-pid="QYMqI8fzTm" dmcf-ptype="general">“엔비디아가 갖고 있던 쿠다(CUDA)라는 해자가 인공지능(AI) 때문에 사라졌습니다.”</p> <p contents-hash="07a2d56b0a4dfc70d076c113e1b8be1a9a3c223bf6ee91c4cff2740b8fbafcd5" dmcf-pid="xGRBC64qhr" dmcf-ptype="general">리사 수 AMD 최고경영자(CEO)와 30년간 근무해 ‘영혼의 단짝’으로 불리는 마크 페이퍼마스터 AMD 최고기술책임자(CTO·사진)는 23일(현지시간) 미국 샌프란시스코에서 기자와 만나 이렇게 말했다. 쿠다는 엔비디아의 그래픽처리장치(GPU) 최적화 소프트웨어다. 한 번 쿠다 생태계에 종속되면 다른 기업의 GPU를 쓰기가 힘들고, 이는 엔비디아가 오랜 기간 시장 1위를 유지해온 비결이다.</p> <p contents-hash="151ce8303d60079faabb3aa9fcddf4adf202a665e0566b5aea2179d92adf3ee7" dmcf-pid="yeYwfShDCw" dmcf-ptype="general">페이퍼마스터 CTO는 “앤트로픽의 AI 모델 클로드에 AMD GPU를 최적화하라고 했더니 스스로 작업을 끝내놨다”고 설명했다. 더 이상 엔비디아 CUDA 생태계에서 이에 대응하는 AMD의 라컴(RocM) 생태계로 넘어가는 비용을 고민하지 않아도 된다는 의미다.</p> <p contents-hash="65b1c70cd6ab173c8f5d0e57d03ba5f0686ff3e37fb38e9026f0ffd8bcc10a6a" dmcf-pid="WdGr4vlwlD" dmcf-ptype="general">페이퍼마스터 CTO는 수 CEO와 함께 IBM에서 근무하다 3개월 일찍 AMD에 입사한 ‘영혼의 단짝’이다. 그는 IBM 시절을 포함해 30년 넘게 수 CEO와 일해온 경험에 대해 “그동안 정말 대단한 파트너십을 이어왔다”고 말했다. 다음은 페이퍼마스터 CTO와의 일문일답.<strong>▷올해 어드밴싱 AI 행사의 핵심은 개별 반도체가 아니라 랙 전체였다. AI 인프라를 랙 단위로 설계해야 하는 이유는 무엇인가.</strong><br>“오늘날 AI 모델은 조 단위 매개변수로 커졌다. 추론 과정에서도 수천 개의 작업을 높은 처리량으로 동시에 실행해야 한다. 이를 위해서는 거대한 컴퓨팅 클러스터가 필요하다. 특히 에이전틱 AI에서는 CPU와 GPU, 네트워크가 함께 작동해야 한다. 서로 다른 연산 장치 사이에서 데이터가 어떻게 이동하는지를 하드웨어와 소프트웨어 양쪽에서 최적화해야 한다. 이런 작업은 랙 단위에서만 가능하다.<br>에이전틱 AI는 큰 컨텍스트 창을 관리하면서 수많은 작업을 병렬로 실행한다. 일부 작업은 CPU 기반 연산 장치로 보내 처리한 뒤 다시 결과를 가져와야 한다. 지난 7개월 동안 에이전틱 AI 도입이 본격화하면서 연산 수요가 급격히 증가했다.”<br><strong>▷AMD가 네트워크 업체 펜산도와 서버 제조업체 ZT시스템스를 인수한 것도 랙 전략을 위한 것인가.</strong><br>“그렇다. 랙 단위 최적화가 필요했기 때문에 2022년 펜산도를 인수해 네트워킹 역량을 확보했다. 지난해 인수한 ZT시스템스도 헬리오스 랙을 개발하는 데 핵심적인 역할을 했다. 이런 총체적인 설계와 튜닝 없이는 현재 헬리오스가 보여주는 성능을 달성할 수 없었다. AMD만의 노력도 아니다. 대형 파운데이션 모델 기업과 기업 고객들이 함께 최적화하는 파트너다.”<br><strong>▷앞으로는 GPU나 CPU 하나만 잘 만드는 기업은 살아남기 어려운가.</strong><br>“가장 까다로운 AI 애플리케이션을 실행하려면 CPU와 GPU, 네트워크를 모두 최적화해야 한다. 클라우드와 슈퍼컴퓨팅에서도 마찬가지다. 과거에는 AI를 활용해 개별 작업을 최적화했다. 에이전틱 AI 시대에는 에이전트와 하위 에이전트가 연결돼 전체 업무 흐름을 최적화한다. 업무 흐름 자체를 새롭게 설계하기도 한다. 이를 통해 제품 출시와 연구개발에 걸리는 시간을 크게 단축할 수 있다.”<br><strong>▷챗봇에서 AI 에이전트로 중심이 이동하면서 반도체 설계는 어떻게 달라졌나.</strong><br>“챗봇은 상대적으로 GPU 의존도가 높은 작업이다. 사용자가 질문을 입력하면 프롬프트를 분석하는 ‘프리필’과 답변을 생성하는 ‘디코드’ 단계를 거친다. 챗봇 시대에는 CPU와 GPU 비율이 일반적으로 1 대 4였고, 때로는 1 대 8까지 갔다. GPU가 압도적으로 중요했다. 하지만 에이전틱 AI는 여러 작업을 연쇄적으로 연결하고 작업 사이에 추론을 추가한다. 이에 따라 GPU와 CPU 사이에서 훨씬 많은 통신이 필요해졌다.”<br><strong>▷헬리오스에는 이런 변화가 어떻게 반영됐나.</strong><br>“CPU와 GPU 사이의 연결 대역폭을 두 배로 늘렸다. 탑재할 수 있는 CPU 코어 수도 대폭 확대했다. 차세대 ‘베니스’ CPU에는 256개의 코어가 들어간다. 에이전틱 AI 처리에 맞게 최적화한 CPU다. 여기에 높은 처리량의 학습과 추론 작업을 수행하는 인스팅트 GPU를 결합했다. 네트워킹 역량도 강화했다. CPU와 GPU를 결합한 노드 72개를 하나의 시스템으로 연결할 수 있다. 다른 72노드 시스템과도 스케일아웃 방식으로 연결된다. 스케일업과 스케일아웃 네트워크 모두 이더넷 기반이다.”<br><strong>▷AI 확산으로 HBM과 D램 공급 부족이 심화하고 있다. 헬리오스와 MI455를 설계하면서 어떻게 대응했나.</strong><br>“AMD의 핵심 강점 중 하나는 협업이다. 고객들은 더 많은 메모리가 필요하다고 말했다. 과거에는 AI 연산의 대부분이 모델 학습에 사용됐다. 올해부터는 학습이 전체 연산에서 차지하는 비중이 줄고 추론이 중심이 되고 있다. 추론은 더 큰 컨텍스트를 처리해야 하기 때문에 메모리 용량이 중요하다. AMD는 모든 주요 메모리 업체와 협력하고 있다. 한국의 삼성은 매우 긴밀한 파트너다.”<br><strong>▷삼성과 구체적으로 어떤 분야에서 협력했나.</strong><br>“삼성을 비롯한 메모리 업체들과 HBM 적층 높이를 기존 최대 8단에서 HBM4의 12단까지 늘리는 방법을 설계했다. HBM4 규격을 정의하는 단계부터 협력했다.AMD는 개방형 표준과 개방형 생태계를 중시한다. HBM4도 개방형 표준 메모리다. AMD는 표준 제정에 참여했고, 고밀도 메모리를 구현하는 방법도 파트너들과 함께 개발했다. 헬리오스와 인스팅트 MI455 역시 높은 메모리 밀도와 용량을 충분히 활용하도록 설계했다.”<br><strong>▷MI455의 메모리 용량이 이전 제품보다 50% 증가했다. 단순히 HBM을 더 많이 장착한 것인가.</strong><br>“HBM 적층 수를 늘렸기 때문에 용량이 증가한 것은 맞다. 하지만 메모리만 추가한다고 해결되는 문제가 아니다. 메모리 제어 회로와 CPU·GPU 간 대역폭을 함께 최적화해야 한다. CoWoS 첨단 패키징 기술을 이용해 GPU와 메모리를 긴밀하게 통합하고, 신호가 이동할 때 발생하는 전력 소모도 줄였다.<br> 이런 제품은 한 회사가 혼자 만들 수 없다. AMD와 메모리 업체, 파운드리 업체, 패키징 업체가 함께 전체 솔루션을 만들어야 한다. 추가된 메모리를 제대로 활용하려면 애플리케이션부터 소프트웨어 스택까지 모두 최적화해야 한다.”<br><strong>▷앤스로픽은 클로드를 활용해 AMD 가속기용 코드를 주말 만에 최적화했다고 밝혔다. 어떤 의미인가.</strong><br>“과거에는 ‘CUDA 해자’가 있다는 말이 있었다. 누군가 CUDA로 코드를 작성하면 경쟁 기술로 옮겨가기 어렵다는 주장이었다. AMD는 수년 동안 CUDA 코드를 AMD 플랫폼으로 빠르게 이전하는 ‘히피파이’를 개발해 왔다. 하지만 앤스로픽이 한 일은 이를 뛰어넘었다.</p> <p contents-hash="ec8aa292fcd180fe82a279bc9b311112c73c8dc1603f40da351716fa33a80469" dmcf-pid="YJHm8TSrSE" dmcf-ptype="general">AMD는 소프트웨어 스택을 공개하고 있다. 앤스로픽은 클로드가 AMD의 개방형 스택을 이해하도록 학습시켰다. 이후 클로드에게 AMD 제품 사양과 소프트웨어 데이터를 주고 코드를 AMD에서 실행하도록 최적화하라고 지시했다. 그 코드는 이전까지 AMD에서 한 번도 실행된 적이 없었다. 그런데 주말 동안 단순히 구동하는 수준을 넘어 효율적으로 실행되는 데 성공했다. AMD와 앤스로픽 모두 예상하지 못할 정도로 빠른 결과였다.”<br><strong>▷AI 모델이 엔비디아의 CUDA 해자를 없앨 수 있다는 의미인가.</strong><br>“에이전틱 AI의 업무 흐름과 AMD 인스팅트의 개방형 생태계가 결합하면서 그 해자는 사라졌다. AI 자체가 AMD 제품의 도입을 가로막던 장벽을 없애고 있다.”<br><strong>▷이번에 공개한 ‘ROCm AI’는 무엇인가.</strong><br>“앤스로픽이 클로드를 AMD 인스팅트에 맞게 최적화한 것과 같은 작업을 모든 주요 파운데이션 모델이 할 수 있도록 만드는 것이다. AMD의 최고 소프트웨어 전문가들이 수년간 ROCm을 최적화하면서 축적한 지식과 스크립트를 주요 AI 모델들에 제공했다. 앞으로 개발자는 자신이 선호하는 AI 모델을 이용해 AMD용 개발 환경을 불러오고 애플리케이션을 자동으로 최적화할 수 있다. 매우 빠르게 AMD ROCm 환경에서 프로그램을 실행할 수 있게 된다.”<br><strong>▷데이터센터와 온프레미스, 엣지 AI 가운데 앞으로 가장 빠르게 성장할 시장은 어디인가.</strong><br>“향후 몇 년 동안은 데이터센터가 가장 빠르게 성장할 것이다. 여기에는 클라우드와 하이퍼스케일 데이터센터뿐 아니라 기업의 온프레미스 시스템도 포함된다. 거대한 파운데이션 모델이 필요하면 클라우드를 사용하게 될 것이다. 반면 공개 가중치 모델이나 기업이 자체적으로 학습한 모델은 비용과 토큰 사용량을 최적화하기 위해 온프레미스에서 실행할 가능성이 크다. AMD의 MI350P는 기존 서버의 PCIe 슬롯에 장착할 수 있다. CPU 전용 서버를 AI 시스템으로 전환할 수 있어 기업의 온프레미스 AI 도입을 촉진할 것이다.”<br><strong>▷개인용 AI와 엣지 AI 시장은 어떻게 전망하나.</strong><br>“개인용 AI와 임베디드 기기를 위한 엣지 AI도 매우 빠르게 성장하고 있다. 장기적으로는 더 큰 시장이 될 수 있다. AMD는 최대 3000억 개 매개변수의 모델을 로컬에서 구동할 수 있는 AI PC 헤일로(Halo)도 발표했다. 개발자가 맥 미니를 이용해 코딩하는 것과 비슷하지만 더 큰 메모리 용량과 완전히 공유되는 메모리 공간을 제공한다. 다만 향후 몇 년 동안의 총지출액을 기준으로 보면 데이터센터 시장이 훨씬 클 것이다.”<br><strong>▷세레브라스와의 협력은 엔비디아와 그록(Groq)의 협력과 비슷해 보인다. AMD만의 차별점은 무엇인가.</strong><br>“세레브라스와의 협력은 지연시간이 거의 없어야 하는 특정 AI 작업을 겨냥한다. 예를 들어 바이브 코딩으로 실시간 코드를 생성하려면 추론 속도가 최대한 빨라야 한다. 하지만 이런 초저지연 작업은 현재 전체 AI 시장의 약 5%에 불과하다. 헬리오스는 나머지 95%의 광범위한 AI 작업에서 높은 처리량을 제공한다. 헬리오스에서 대부분의 작업을 실행하다가 즉각적인 응답이 필요한 일부 작업만 세레브라스로 보내 처리할 수 있다. 연산을 분리하는 ‘디스어그리게이티드’ 방식이다. 세레브라스의 웨이퍼 스케일 엔진 주변에도 AMD CPU가 사용된다. 양사의 협력은 매우 자연스럽다.”<br><strong>▷엔비디아와 비교한 AMD의 가장 큰 경쟁력은 무엇인가.</strong><br>“개방형 생태계다. AMD는 세레브라스뿐 아니라 다른 연산 엔진과도 쉽게 협력할 수 있다. 모든 기업이 혼자 랙 단위 최적화를 수행할 수 있는 것은 아니다. 하지만 AMD의 개방형 랙 생태계에서는 특정 작업에 최적화된 엔진을 가진 기업들이 생태계의 일부로 참여할 수 있다. 자체 칩을 개발하는 하이퍼스케일러와도 협력할 수 있다. 고객 요구에 맞는 칩을 설계하거나 고객이 만든 칩과 AMD 제품이 함께 작동하도록 하는 것도 가능하다. 새로운 연산 수요가 크게 늘어나면 해당 기능을 AMD의 향후 제품 로드맵에 통합할 수도 있다.”<br><strong>▷대형 AI 기업들이 자체 맞춤형 칩을 개발하는 것은 AMD에 위협이 아닌가.</strong><br>“AI와 컴퓨팅 수요가 워낙 빠르게 증가하고 있어 여러 종류의 솔루션이 필요하다.대형 AI 기업들은 일부 연산 수요에 맞춘 전용 칩을 만들고 있다. 하지만 여전히 AMD의 범용 CPU와 GPU가 많이 필요하다. AI 알고리즘이 너무 빠르게 바뀌고 있기 때문에 범용적으로 프로그래밍할 수 있는 능력이 중요하다.</p> <p contents-hash="f0a56c3322db5cda9d799f6a261140caa6dadecf14999bb55214ccdb17a1502c" dmcf-pid="GiXs6yvmCk" dmcf-ptype="general">앞으로 맞춤형 반도체는 더 많이 등장할 것이다. AMD에도 고객의 맞춤형 반도체 개발을 지원하는 사업부가 있다. 범용 컴퓨팅 시장에서는 계속 성장하고, 고객이 맞춤형 솔루션을 필요로 하는 분야에서는 개발 파트너로 참여할 것이다.”<br>실리콘밸리=김인엽 특파원 inside@hankyung.com</p> </section> </div> <p class="" data-translation="true">Copyright © 한국경제. 무단전재 및 재배포 금지.</p> 관련자료 이전 경륜경정, 과몰입 예방 전문가 자문협의체 출범…이용자 보호 07-24 다음 "전원 버튼 눌렀는데 웬 빅스비·시리?" 스마트폰 전원 끄기 이모저모 07-24 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
