DeepSeek發布梁文鋒署名新論文：提出mHC新架構提升大模型訓練穩定性

研究背景與創新要點

根據 PANews 1 月 1 日消息，以及多家媒體報導，DeepSeek 公布了一篇新論文，提出名為流形約束超連接（mHC）的新架構。該架構旨在解決超連接網路（HC）在大規模模型訓練中的訓練不穩定與可擴展性受限等問題。mHC 的核心設計是將 HC 的殘差連結空間映射至特定流形，以恢復恒等映射特性，從而改善梯度流動與訓練穩定性。

同時，該架構結合嚴格的基礎設施優化以提升運算效率與規模化能力，實現顯著的性能增長與可擴展性提升。DeepSeek 指出，mHC 作為 HC 的一種靈活實用的拓展，將有助於更深入地理解拓撲架構設計，並為未來基座模型的演進提供具體方向。

作者與發表資訊

論文的第一作者包括 Zhenda Xie（解振達）、Yixuan Wei（韋毅軒）與 Huanqi Cao，梁文鋒亦在作者名單之中，屬於共同署名的研究工作之一。

技術影響與未來展望

普遍認為，mHC 的提出旨在解決超連接技術在大模型訓練中的不穩定性與擴展性限制，並結合優化的基礎設施，期望在穩定性與效率間取得更佳平衡。若在多種基礎模型上得到驗證，該架構可能促進對拓撲架構設計的深入研究，並推動大型模型訓練與推理的成本效益提升。

來源與參考

本報導以 PANews 與金十等媒體的報導為主，並以 DeepSeek 公布的論文為核心。

來源：https://www.panewslab.com/zh/articles/3b93bbbc-f839-41a3-8b7e-641729728e25