[분석] 삼성 갤럭시 PIM 3배 빨라졌는데···소프트맥스가 길목을 막는다 작성일 10-22 20 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">메모리 내부 MAC 연산 토큰 처리량 3배 <br>소프트맥스·KV 캐시, 연산 배치 과제 남아 <br>PIM 명령체계 등장···백엔드 설계권 경쟁 <br>코어팀 신설로 차세대 D램 제품화 연결</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="XniUDpAitk"> <figure class="figure_frm origin_fig" contents-hash="f11114c38f71c9b455b9bc677ae19d18c5657f8d1e16b7fa1538ce13ca65957b" data-idxno="464496" data-type="photo" dmcf-pid="ZLnuwUcnGc" dmcf-ptype="figure"> <p class="link_figure"><img alt="여성 모델들이 삼성전자 갤럭시 스마트폰을 들고 포즈를 취하고 있다. / 삼성전자" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/22/552814-8XPEppr/20261022173942292rdhg.jpg" data-org-width="1280" dmcf-mid="x9eI6OV7t2" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/22/552814-8XPEppr/20261022173942292rdhg.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 여성 모델들이 삼성전자 갤럭시 스마트폰을 들고 포즈를 취하고 있다. / 삼성전자 </figcaption> </figure> <p contents-hash="c3423d5f0305d3db776d77cab390df8e2e9b63dc6d986a6534563aead1d00d28" dmcf-pid="5gozm7Eo1A" dmcf-ptype="general">삼성전자가 메모리 내부에서 인공지능(AI)을 계산하는 기술을 개발하면서 갤럭시폰 설계 경쟁이 새로운 단계로 들어섰다. 지난 8월 핫칩스 2026에서 공개한 LPDDR5X 기반 프로세싱인메모리(PIM)는 대형언어모델(LLM)의 토큰 처리량을 약 3배 높였다. 삼성전자는 반도체연구소에 차세대 D램·낸드플래시 개발을 전담하는 코어팀도 신설했다. 메모리 내부 연산의 성능을 높이는 작업과 이를 실제 제품으로 만드는 조직 체계가 동시에 주목받고 있다.</p> <p contents-hash="98d5a5ad2cb5e02c0880b9518a63223362d42231bb75e53693895e37d63f1452" dmcf-pid="1agqszDgtj" dmcf-ptype="general">22일 여성경제신문 취재를 종합하면 스마트폰 진화의 기술적 쟁점은 메모리 안에 들어간 연산회로를 어디까지 활용할 수 있느냐다. PIM은 곱셈과 누산을 메모리 가까이에서 수행해 데이터 이동을 줄인다. 대형언어모델의 핵심 연산인 어텐션에는 소프트맥스(Softmax)가 들어간다. 최댓값 탐색과 지수함수 계산, 전체 합산과 정규화가 필요하다. 메모리 내부 곱셈기를 늘려도 이러한 연산을 처리할 장소와 명령체계를 결정해야 한다.</p> <p contents-hash="a4bb611201d5c4c1bf45a5c77d042cb63456d39baa6d2b133a9349ba3809c4d1" dmcf-pid="tNaBOqwa5N" dmcf-ptype="general">삼성전자의 LPDDR5X-PIM은 저전력 D램에 연산 기능을 결합한 기술이다. 일반적인 스마트폰에서는 CPU·GPU·NPU가 LPDDR에서 데이터를 읽어 계산한다. PIM은 메모리 뱅크 내부 또는 인접 회로에서 일부 연산을 수행한다. 모델 가중치를 외부 연산장치로 반복 전송하는 부담을 줄이는 구조다<br>삼성전자가 공개한 라마 3.1 8B 추론 실험에서는 초당 토큰 처리량이 27개에서 81.3개로 증가했다. 처리시간도 12.3초에서 5.4초로 감소했다. 두 수치는 각각 토큰 처리량과 측정된 작업의 실행시간을 나타낸다. 실제 모바일 환경에서 얻을 수 있는 이익을 평가하려면 실험 조건과 출력 품질을 함께 검토해야 한다.</p> <div contents-hash="e53f7af7441c7e07df7d7a844caa387d2d3495644da52cd5583a9ff77957cb7d" dmcf-pid="FjNbIBrNHa" dmcf-ptype="general"> AI 커널(Kernel)은 행렬곱과 어텐션 같은 모델 연산을 실제 반도체에서 실행하는 프로그램이다. 기존 GPU 커널은 GPU의 명령체계와 메모리 구조에 맞춰 작성된다. PIM을 도입하면 일부 연산을 메모리 내부로 배치해야 한다. 컴파일러와 실행환경이 서로 다른 연산장치의 명령과 데이터 배치, 실행 순서와 동기화를 관리하게 된다. </div> <figure class="figure_frm origin_fig" contents-hash="65be93df400961518b2c32b83f89d6f51f6bc41aebd15df30a629cd3c9ec15a7" data-idxno="464497" data-type="photo" dmcf-pid="3AjKCbmjZg" dmcf-ptype="figure"> <p class="link_figure"><img alt="삼성전자 갤럭시 스마트폰의 카메라 모듈과 메인보드를 분리한 모습. 오른쪽 금속 차폐판 아래에 주요 반도체가 배치된다. / AI 재구성 이미지" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/22/552814-8XPEppr/20261022173943642jfyv.png" data-org-width="1280" dmcf-mid="yGozm7Eot9" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/22/552814-8XPEppr/20261022173943642jfyv.png" width="658"></p> <figcaption class="txt_caption default_figure"> 삼성전자 갤럭시 스마트폰의 카메라 모듈과 메인보드를 분리한 모습. 오른쪽 금속 차폐판 아래에 주요 반도체가 배치된다. / AI 재구성 이미지 </figcaption> </figure> <p contents-hash="1fa291c252a43697fca01c3898429ded6f4817d4ff576ae730b0b1f8e23d702f" dmcf-pid="0cA9hKsAXo" dmcf-ptype="general"><strong>곱셈기는 메모리 안으로 들어갔다</strong><br><strong>소프트맥스는 어디서 계산할건가?</strong></p> <p contents-hash="dea211965ac34a5e8ec49ac827526dee21737b40385e400911bc5b43ead2bd47" dmcf-pid="pkc2l9Oc5L" dmcf-ptype="general">대형언어모델의 어텐션은 현재 토큰의 Query와 과거 토큰의 Key를 곱해 관련성 점수를 계산한다. 이어 소프트맥스로 점수를 정규화하고 그 결과를 Value에 적용한다. 기본 연산식은 "Softmax(QKᵀ/√d)V"다. 첫 번째 곱셈과 마지막 가중치·Value 곱셈 사이에 확률 가중치를 만드는 계산이 들어간다.</p> <p contents-hash="3024c6f4f9b717b0d3ca2da7c1d5880f1372c728153ea3cccbba7bf5fb715e23" dmcf-pid="UEkVS2IkHn" dmcf-ptype="general">PIM에 배치하는 대표적인 연산기는 곱셈·누산(MAC) 유닛이다. 두 숫자를 곱한 결과를 계속 더하는 회로로, AI 모델의 행렬·벡터 계산에 반복적으로 사용된다. 모델 가중치가 저장된 메모리 근처에서 MAC 연산을 실행하면 GPU나 NPU로 데이터를 전송하는 횟수를 줄일 수 있다.</p> <p contents-hash="b89d64dd4f8bc8e883ee396bebb441520346778b4ee07fa59ac302d9f439f05b" dmcf-pid="uDEfvVCEXi" dmcf-ptype="general">소프트맥스에는 별도의 연산 구조가 필요하다. 먼저 점수의 최댓값을 찾고 각 점수에서 이를 뺀 뒤 지수함수를 계산한다. 지수함수 결과를 합산하고 전체 합으로 나눠 정규화한다. 점수가 여러 메모리 뱅크에 분산돼 있다면 부분 최댓값과 부분 합계를 결합하는 통신도 필요하다.</p> <p contents-hash="eb4b5dc7392ca91c9851f953e94e4d11a150d05f48bd3e7b6d7769a0c2528a4c" dmcf-pid="7wD4TfhDXJ" dmcf-ptype="general">이 과정의 물리적 비용은 최댓값 탐색, 지수함수 근사, 합산, 정규화, 뱅크 간 통신, 연산장치 사이의 데이터 이동으로 나뉜다. MAC 중심의 PIM만으로 모든 기능이 구현되지는 않는다. 소프트맥스를 GPU나 NPU에서 처리하면 중간 결과를 이동시키는 비용과 동기화 지연이 발생할 수 있다.</p> <p contents-hash="452c0cf8f19fcbb442bf2080eb8a7bf24e851bf8507f60d5d7ae7e66224ad310" dmcf-pid="zrw8y4lwZd" dmcf-ptype="general">해결 방법은 여러 가지다. 메모리 가까이에 소프트맥스 전용 회로를 배치할 수 있다. 부분 최댓값과 합계를 누적하는 온라인 소프트맥스 방식도 가능하다. FlashAttention 계열은 타일 단위 계산과 온라인 정규화로 대규모 중간 점수 행렬의 저장을 줄인다. PIM의 성능은 곱셈기 수와 함께 소프트맥스 처리 위치, 데이터 배치, 통신 구조에 의해 결정된다.</p> <div contents-hash="7c7e30f26e0bc8e88749b440655443470c7df9974ec5709585af942c7c9c53c4" dmcf-pid="qmr6W8Srte" dmcf-ptype="general"> 2026년 공개된 SoftmaxPIM 연구는 HBM 기반 PIM에서 소프트맥스를 메모리 가까이로 가져오는 방안을 제시했다. 행렬·벡터 곱셈 이후 정규화를 처리하기 위해 발생하는 데이터 이동과 집계 비용을 줄이는 접근이다. HBM에서 제안된 회로를 스마트폰용 LPDDR에 적용하려면 면적과 전력, 발열, 메모리 컨트롤러 구조를 별도로 검토해야 한다. </div> <figure class="figure_frm origin_fig" contents-hash="2975bed006640958bf352c2ff010ccbdecb6f0c737bde3cf512dbc3dda41b70e" data-idxno="464498" data-type="photo" dmcf-pid="BsmPY6vmXR" dmcf-ptype="figure"> <p class="link_figure"><img alt="삼성전자 LPDDR5X-PIM의 연산 구조와 성능 비교. 메모리 내부 곱셈·누산(MAC) 연산으로 초당 토큰 처리량이 27개에서 81.3개로 증가한 실험 결과와 소프트맥스 연산의 기술적 과제를 나타냈다. / GPT-5.5" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/22/552814-8XPEppr/20261022173945090nsdp.png" data-org-width="1024" dmcf-mid="Wg2ydTx2HK" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/22/552814-8XPEppr/20261022173945090nsdp.png" width="658"></p> <figcaption class="txt_caption default_figure"> 삼성전자 LPDDR5X-PIM의 연산 구조와 성능 비교. 메모리 내부 곱셈·누산(MAC) 연산으로 초당 토큰 처리량이 27개에서 81.3개로 증가한 실험 결과와 소프트맥스 연산의 기술적 과제를 나타냈다. / GPT-5.5 </figcaption> </figure> <p contents-hash="951b230090095f10037802c42b569bec35f691b3eff5af53710e93e0bccee7d4" dmcf-pid="bOsQGPTsXM" dmcf-ptype="general"><strong>첫 번째 길은 소프트맥스 회로 추가</strong><br><strong>두 번째 길은 계산 구조 자체 변경</strong></p> <p contents-hash="31c5d066042668bb237c8c4cf5036034142fda6d64540e511b986b483543c66e" dmcf-pid="KjNbIBrNtx" dmcf-ptype="general">첫 번째 길은 기존 트랜스포머(Transformer)의 소프트맥스 어텐션을 유지하면서 메모리 내부 연산 기능을 확장하는 것이다. 최댓값 탐색과 지수함수 근사, 합산, 정규화를 수행하는 회로를 추가하면 어텐션의 중간 결과를 외부 연산장치로 보내는 부담을 줄일 수 있다.</p> <p contents-hash="729b66a943c1d8bfcf7235b792b9dff42ac9fb6b2750049e2419e58f03050ad8" dmcf-pid="9AjKCbmj1Q" dmcf-ptype="general">회로 배치에는 비용이 따른다. 메모리 뱅크마다 전용 연산기를 넣으면 실리콘 면적과 소비전력이 증가한다. 여러 뱅크가 연산기를 공유하면 회로 면적을 줄일 수 있지만 부분 결과를 모으는 통신과 집계 지연이 발생한다. 스마트폰에서는 패키지 크기와 발열, 배터리 사용량까지 고려해야 한다.</p> <p contents-hash="13a41f0bee746acb23a9c8f6386f946aa4096acc3a32dbf64daf0cf29bab6415" dmcf-pid="2cA9hKsAHP" dmcf-ptype="general">KV 캐시 관리도 함께 해결해야 한다. 새로운 토큰을 생성할 때 기존 토큰의 Key와 Value를 읽고 새로운 Key와 Value를 기록해야 한다. 읽기 성능을 높이기 위해 여러 메모리 행에 데이터를 분산하면 쓰기와 갱신 비용이 증가할 수 있다. KAIST의 PATTON 연구가 다룬 메모리 배치와 읽기·쓰기 충돌 문제도 이러한 설계 영역에 해당한다.</p> <p contents-hash="3feb4635ce09353b5068252402650f597bf82bda452788af685e36cf589ac3e2" dmcf-pid="Vkc2l9OcZ6" dmcf-ptype="general">두 번째 길은 AI 모델의 계산 구조를 변경하는 것이다. 리니어 어텐션은 소프트맥스 기반 어텐션과 다른 연산 방식을 사용한다. 일부 구조에서는 과거 토큰의 Key·Value 정보를 누적 상태로 압축한다. 새로운 토큰이 들어오면 상태를 읽고 갱신한 뒤 출력 계산에 사용한다.</p> <p contents-hash="c4fe9687c9dfcbf2c24544c1724ca6c55f24f0f122634f2eb865b05ec2a5854f" dmcf-pid="fEkVS2IkH8" dmcf-ptype="general">이 경우 메모리 병목의 위치가 이동한다. 기존 어텐션에서는 문맥이 길어질수록 KV 캐시를 반복해서 읽는 비용이 증가한다. 고정 크기의 누적 상태를 사용하는 모델에서는 상태 읽기와 갱신, 순차적 데이터 의존성이 중요해진다. 대량의 데이터를 병렬로 읽는 능력과 작은 상태를 빠르게 갱신하는 능력은 서로 다른 회로·메모리 배치를 요구한다.</p> <p contents-hash="bbc385eb37a788cb72e71216c60911ca7fe896af39902fe32e55a24ba0bcd0fe" dmcf-pid="4DEfvVCEY4" dmcf-ptype="general">상태공간모델(SSM)도 비교 대상이다. 일부 SSM은 과거 입력 정보를 내부 상태에 반영하고 새 토큰마다 상태를 갱신한다. 모델 구조에 따라 전체 KV 캐시를 반복해서 읽는 부담을 줄일 수 있다. 대신 상태 갱신의 순차적 의존성과 메모리 쓰기 비용이 성능을 제한할 수 있다.</p> <p contents-hash="77fb460d62fd4d8b72ec1e310ea99b94f63d2463b4de47e10beba250c819496a" dmcf-pid="8wD4TfhD5f" dmcf-ptype="general">알고리즘 변경에는 정확도와 호환성 검증이 따른다. 기존 트랜스포머에서 소프트맥스 함수만 삭제하면 같은 출력을 얻을 수 없다. 모델을 새로 학습하거나 변환해야 하고 긴 문맥에서의 정보 검색, 추론 품질, 메모리 사용량을 함께 측정해야 한다.</p> <div contents-hash="00810a53897dc781607ef5321baf96019c1a0da7dcb8db4daa47fe0babd28208" dmcf-pid="6rw8y4lw5V" dmcf-ptype="general"> 메모리 업체가 선택할 회로도 모델 구조에 따라 달라진다. 소프트맥스 기반 트랜스포머를 가속하려면 대규모 KV 캐시 읽기와 정규화 연산이 중요하다. 누적 상태 기반 모델에서는 빠른 상태 읽기·갱신과 데이터 일관성이 중요해진다. AI 모델의 계산 방식이 D램의 내부 연산회로 설계에 영향을 미치는 구조다. </div> <figure class="figure_frm origin_fig" contents-hash="5b9afc216a427576f427cce526fc8f433d78d9b5dc43f34f8eb5c7b8a6f10205" data-idxno="464499" data-type="photo" dmcf-pid="Pmr6W8Sr52" dmcf-ptype="figure"> <p class="link_figure"><img alt="삼성전자 LPDDR5X 모바일 D램의 패키지 앞면(왼쪽)과 접속 단자가 배열된 뒷면. LPDDR5X는 스마트폰 등 모바일 기기에 사용되는 저전력 메모리 규격이다. /삼성전자" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202610/22/552814-8XPEppr/20261022173946440llsr.jpg" data-org-width="1080" dmcf-mid="YW5cBAu51b" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202610/22/552814-8XPEppr/20261022173946440llsr.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 삼성전자 LPDDR5X 모바일 D램의 패키지 앞면(왼쪽)과 접속 단자가 배열된 뒷면. LPDDR5X는 스마트폰 등 모바일 기기에 사용되는 저전력 메모리 규격이다. /삼성전자 </figcaption> </figure> <p contents-hash="735aabab6ea23f884d92f46876ab0bfd49719039c20c3752029df567ba966e04" dmcf-pid="QsmPY6vmY9" dmcf-ptype="general"><strong>삼성 코어팀 신설···메모리 연산 제품화</strong><br><strong>AI 커널 실행 권한은 백엔드로 이동 중</strong></p> <p contents-hash="72c188f3d940a38211cbb2f141a1504b6f0995ed96945f2057a618378019ef0f" dmcf-pid="xOsQGPTsYK" dmcf-ptype="general">삼성전자는 반도체연구소에 차세대 D램·낸드 개발 전담 코어팀을 신설했다. 연구소 인력이 메모리사업부와 공동으로 신제품을 개발하고 성과급 기준도 공유한다. PIM처럼 저장회로에 연산회로를 추가하는 기술은 설계부터 수율, 전력, 발열까지 함께 조정해야 한다. 코어팀의 PIM 직접 담당 여부는 확인되지 않았지만 연구와 제품화를 연결하는 조직 개편이라는 점에서 의미가 있다.</p> <p contents-hash="e037a4dc6777df07f9e56e6d0a6d43dee1697a419a6b7777e1325033f2985d38" dmcf-pid="y29TevQ91b" dmcf-ptype="general">삼성전자가 공개한 PIM 구조에는 메모리 내부 연산을 제어하는 명령체계도 등장했다. 이제 문제는 명령권이다. 컴파일러가 AI 연산을 GPU·NPU·PIM으로 분할하고 실행환경이 데이터 이동과 동기화를 통제한다. 유현규 KAIST 교수는 여성경제신문에 "이종 연산체계에서 프런트엔드보다 백엔드 구현이 어렵다"고 지적했다. 메모리 안에 계산기를 넣어도 백엔드가 연산을 배정하지 못하면 회로는 놀게 된다.</p> <p contents-hash="ca11acf33376d4703ec23693afd9e70f5d89066f037c2a9f4e032f9c0b968426" dmcf-pid="WV2ydTx2GB" dmcf-ptype="general">삼성의 LPDDR5X-PIM은 라마 3.1 8B에서 초당 토큰 처리량을 27개에서 81.3개로 높였다. 실험 문맥은 320토큰이었다. 문맥이 길어지면 KV 캐시 읽기와 소프트맥스 집계 비용이 달라진다. 실제 어텐션 가속을 확인하려면 문맥 길이별 실행시간과 토큰당 전력, 출력 정확도를 비교해야 한다.</p> <p contents-hash="e273905b93eeec20c06f3ade7f6f9172192ce38850fcb8ef6682b6a06620e936" dmcf-pid="YfVWJyMVXq" dmcf-ptype="general">삼성의 다음 경쟁은 D램 내부에 어떤 연산회로를 넣을지, 그 회로에 누가 명령을 내릴지에서 갈린다. 소프트맥스를 메모리 안으로 가져오면 정규화 회로와 집계 명령이 필요하다. 리니어 어텐션과 상태공간모델을 선택하면 빠른 상태 읽기·갱신이 중요해진다. 메모리의 연산 기능이 AI 커널의 실행 구조를 바꾸고, 백엔드의 설계가 메모리의 가치를 결정하는 단계다.</p> <p contents-hash="18e9a6109f05569b5c47f489bbaa93fa308191c2560983c9552fab5924bdb233" dmcf-pid="G5ZAqjUZ5z" dmcf-ptype="general"><strong>☞ PIM(Processing-in-Memory) </strong>= 메모리 내부 또는 인접 회로에 연산 기능을 배치하는 기술. 데이터를 CPU·GPU·NPU로 반복 전송하는 비용을 줄인다. 곱셈·누산 중심의 PIM과 소프트맥스 등 추가 연산을 지원하는 PIM은 회로 구성과 실행 가능한 연산 범위가 다르다.</p> <p contents-hash="ee3c8a75367cd0619d6e2a8e26204264debd59e2758b5d69638fddc77bc683d8" dmcf-pid="H15cBAu5G7" dmcf-ptype="general"><strong>☞ AI 실행 백엔드(Execution Backend)</strong> = AI 모델의 연산을 실제 반도체의 명령과 실행 프로그램으로 변환하고 실행 위치를 결정하는 소프트웨어 체계. PIM을 적용하면 GPU·NPU와 메모리 내부 연산장치 사이의 작업 배분, 데이터 배치, 명령 전달과 동기화까지 처리해야 한다.</p> <p contents-hash="f64f39a7cdfb27f128e64b36e4a831ed01b9a9479d15f70d5527146b442b15f3" dmcf-pid="Xt1kbc71Yu" dmcf-ptype="general">여성경제신문 이상헌 기자<br>liberty@seoulmedia.co.kr</p> <p contents-hash="4952bb185367ad836708c4b355e330086787c9aaa2c9974100dd5067022dc405" dmcf-pid="ZFtEKkztXU" dmcf-ptype="general">*여성경제신문 기사는 기자 또는 외부 필자가 작성 후 AI를 이용해 교정·교열하고 문장을 다듬었음을 밝힙니다. 기사에 포함된 이미지 중 AI로 생성한 이미지는 사진 캡션에 밝혀두었습니다.</p> </section> </div> 관련자료 이전 "아이 데리러 가야 해" 한마디에 회의 변경…오픈AI '닷츠'로 업무 더 쉬워졌다 10-22 다음 “디시인사이드·더쿠” 400만명 몰리는 ‘커뮤니티’ 초비상…중소 웹사이트 PHP ‘빨간불’ 10-22 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
