AMD新論文顛覆認知：FP4訓練不穩定，原因不是隨機性不足
核心發現：FP4訓練不穩定性的真正原因
論文指出，FP4訓練過程中出現的不穩定性，並非源於隨機性不足，而是由於結構性微縮放誤差在敏感梯度路徑中累積並放大所致。這一發現顛覆了以往對低精度訓練穩定性的理解。
實驗成果：端到端訓練加速達9-10%
在AMD Instinct MI355X GPU上，研究團隊使用MXFP4格式完成了Llama 3.1-8B的全流程預訓練，實現了端到端訓練速度比FP8基線快9-10%，同時token開銷僅增加8-9%，展現出顯著的效率優勢。
技術背景：MXFP4的定義與應用
MXFP4是AMD提出的一種低精度計算格式，旨在通過優化硬件與算法協同，提升大規模語言模型訓練的效率。該技術已在實際模型訓練中驗證其可行性與性能表現。
相關資訊與延伸討論
- 來源平臺：該研究被多家科技媒體如新浪科技、虎嗅網、36氪等報道，顯示其在AI硬件與訓練領域的重要影響力。
- 市場反應：儘管未直接提及股價變動，但相關資訊在財經平臺被廣泛引用，反映市場對低精度AI訓練技術的關注。