Scaling Law沒死，它只是換了一個活法
背景與核心觀點
傳統意義上的 Scaling Law 指的是「更多資料、更多模型、更多算力，能帶來更好表現」的規律。此理念最早由 OpenAI 在 2020 年提出，並在過去幾年成為大模型訓練的底層邏輯。近來的觀察顯示，Scaling Law 並未死亡，只是以新的形式繼續影響著 AI 的發展。
根據多家媒體的報導，資源的投入與回報的關係仍在，但回報曲線的增長可能變得更加緩慢，需要更精細的資源配置。
新活法與實踐方向
- 從單純堆疊參數轉向以資料效率與訓練策略為核心的優化路線，尋求「資料與參數的最佳配比」。
- 採用多階段、多方向的優化策略，將算力投入和模型結構設計更有效地分配。
- 關注推理成本、能源消耗與部署成本，力求在實際應用中達到更高的效能與成本效益。
- 業界案例與研究顯示，如 Gemini 3 的表現與各家公司持續投入，指向 Scaling Law 的新形態仍在發揮作用。
- 除了參數增長，研究者也在探索「智能密度」等新概念，試圖在不以硬核參數為唯一指標的情況下推動進步。
結論
Scaling Law 仍是現代 AI 發展的重要影響因素，但其實現形式正在轉變。未來的進展將依賴於更高效的訓練、推理與部署方法，以及對資料、算力與模型之間關係的更深入理解。