DeepSeek 新論文或「洩密」V4 殺手鐧:一招突破瓶頸,居然把 CPU 當 GPU 用?
GPU 顯存不再是模型規模瓶頸
DeepSeek 正在嘗試用便宜且量大的 CPU 內存(DRAM),去替代昂貴的 GPU 顯存,從而降低模型訓練與推理的成本。
CPU-GPU 直連架構突破
為緩解 CPU 與 GPU 之間通過 PCIe 接口傳輸時的帶寬瓶頸,未來系統將採用直接的 CPU-GPU 互連架構,例如 NVLink 或 Infinity Fabric,以提升數據傳輸效率。
四大核心突破方向
- 編程能力:劍指 Claude 等現有模型,提升在複雜編程任務上的表現。
- 魯棒性優先:構建不易崩潰的訓練系統,提升模型穩定性。
- 顛覆互連架構:通過 CPU-GPU 直連消除節點瓶頸。
- 智能網絡優化:提升模型在長上下文理解與推理中的表現。
相關技術進展
浪潮科學研究院已取得 CPU-GPU 異構系統工作負載動態分配方法專利,顯示該領域正逐步走向產業化。
