feed-digest - #llm-inference

Processing in Memory: DRAM Is About to Do Math

SamsungはHot Chips 2026で、内部バンド幅614GB/sを持つLPDDR5X-PIM(16GB)を発表した。DRAMバンク近傍に演算ユニットを配置し、外部ピン(76.8GB/s)を経由せずバッチ1のデコード(GEMV)を高速化する。Llama 3.1 8Bのベンチマークでは通常のLPDDR5Xに対しスループットが3.01倍(27→81.3 tok/s)向上した。既存のDRAMコントローラと互換なAddress Align Modeを備えるが、GGUFのk-quant非対応・mmapベースのメモリ配置との不整合・GEMM(バッチ処理やMoE、投機的デコード)への弱さという3つのソフトウェア課題が残り、llama.cppやvLLMへの統合には時間がかかる見込み。