馬斯克:1.5萬億參數的Grok V9-Medium模型預計將於兩三週後發佈
模型訓練與發佈進度
馬斯克宣佈,xAI已完成Grok foundation model V9-Medium(1.5萬億參數)的訓練,目前正處於微調階段,強化學習將於數日內啟動,預計在2至3周後正式面向公眾發佈。
與現有模型的對比
相較於當前承載所有Grok線上流量的0.5萬億參數V8-small模型,新模型在複雜編程任務上將有「重大提升」,性能表現預計將顯著優於現有版本。
數據補充與訓練流程
- 訓練過程中已補充引入大量Cursor相關數據,以增強模型在實際編程場景中的表現。
- 未來還將持續增加更多數據,以進一步優化模型能力。
- 目前模型正進行監督微調(SFT)與強化學習(RL)流程,以提升其推理與任務執行能力。
開源計劃
馬斯克表示,現有的0.5萬億參數Grok V8-small模型計劃在今年年底前開源,預計仍將具備實用價值。
來源:https://www.panewslab.com/zh/articles/019e5e87-84da-70a9-ab8e-da7f57f75779
