剛剛,梁文鋒署名開源「記憶」模組,DeepSeek V4更細節了
DeepSeek 提出條件記憶與新模組 Engram
針對當前大模型在記憶與推理方面的限制,DeepSeek 提出了條件記憶(conditional memory)機制,並透過引入一個新模組「Engram」來實現。此模組旨在提升模型在長時間任務中的記憶能力與一致性,並與 MoE 的條件計算形成補充。
相關技術背景與研究進展
該研究由 DeepSeek 創始人梁文鋒參與撰寫,提出名為「流形約束超連接」(mHC)的框架,旨在提升大規模模型的可擴展性,同時降低訓練進階人工智能系統所需的算力與能源消耗。
此技術被視為 DeepSeek 下一代技術的重要組成部分,預計將應用於 DeepSeek-V4 及相關產品中。
相關論文與公開資訊
論文《mHC: Manifold-Constrained Hyper-Connections》已公開,梁文鋒位列合著名單,並獲得了 ACL2025 最佳論文獎,顯示其技術創新性與學術影響力。
相關內容亦在 36氪、第一財經、知乎等平臺廣泛報導,並被視為 DeepSeek 在 AI 基礎架構上的重大突破。
