馬斯克:1.5萬億參數的Grok V9-Medium模型預計將於兩三週後發佈

馬斯克:1.5萬億參數的Grok V9-Medium模型預計將於兩三週後發佈

模型訓練與發佈進度

馬斯克宣佈,xAI已完成Grok foundation model V9-Medium(1.5萬億參數)的訓練,目前正處於微調階段,強化學習將於數日內啟動,預計在2至3周後正式面向公眾發佈。

與現有模型的對比

相較於當前承載所有Grok線上流量的0.5萬億參數V8-small模型,新模型在複雜編程任務上將有「重大提升」,性能表現預計將顯著優於現有版本。

數據補充與訓練流程

  • 訓練過程中已補充引入大量Cursor相關數據,以增強模型在實際編程場景中的表現。
  • 未來還將持續增加更多數據,以進一步優化模型能力。
  • 目前模型正進行監督微調(SFT)與強化學習(RL)流程,以提升其推理與任務執行能力。

開源計劃

馬斯克表示,現有的0.5萬億參數Grok V8-small模型計劃在今年年底前開源,預計仍將具備實用價值。

來源:https://www.panewslab.com/zh/articles/019e5e87-84da-70a9-ab8e-da7f57f75779

返回頂端