推理芯片的四種方案，David Patterson撰文
核心論點
David Patterson 指出，LLM 推理的瓶頸並非來自計算能力，而是來自記憶體與互連的限制。
四大研究方向
- 高帶寬閃存（HBF）：提供十倍容量與 HBM 級別的帶寬，解決 HBM 在 AI 推理場景中的儲存缺口。
- 近記憶體處理（PNM）：優化存算佈局，將處理邏輯移近記憶體，減少資料搬移。
- 3D 記憶體邏輯堆疊：透過三維堆疊技術整合記憶體與處理單元，提升空間效率與傳輸速度。
- 低延遲互連：改進傳統互連設計，從重視帶寬轉為優先考慮延遲，以滿足實時推理需求。
未來展望
預計未來五年內，這些技術將逐步商業化，並成為 AI 推理芯片的關鍵發展方向。