GPT5.4回一個hi要花80刀,OpenAI應該看看谷歌這篇新論文了
AI推理成本持續上升
隨著AI模型在推理過程中的運算需求不斷增加,其運算成本也隨之飆升。例如,僅回應一個簡單的「hi」訊息,GPT5.4模型可能就需要消耗80刀的運算資源,顯示出當前AI系統在處理任務時的高成本問題。
谷歌提出深度思考率新指標
為解決AI過度思考與推理效率低下的問題,谷歌研究團隊提出「深度思考率」(Depth-of-Thought Rate)這一新指標,用以衡量模型在推理過程中是否真正進行了深度思考,而非僅僅重複簡單的運算流程。
CoT(思維鏈)成為推理標準
自2022年以來,Google發表的兩篇關於「Chain-of-Thought Prompting」的論文,確立了思維鏈(CoT)作為AI推理標準的基礎地位。該方法透過在少樣本示例中加入推理步驟,讓模型逐步推導答案,大幅提升了推理的正確率與可解釋性。
OpenAI需關注技術進展
隨著OpenAI的o1模型引領測試時運算(Test-time compute)的革命,產業界對AI運算效率與成本的關注持續上升。因此,OpenAI被建議應深入研究谷歌提出的深度思考率指標,以優化自身模型的推理效能與經濟性。
