「思考用時100秒」成歷史?AI推理太耗時,伯克利要讓模型並行推理

「思考用時100秒」成歷史?AI推理太耗時,伯克利要讓模型並行推理

主流AI推理模式現狀

目前主流模型普遍採用的「順序推理」模式:大模型接到複雜任務後,會先把任務分割成一個個邏輯相連的小任務,然後從頭到尾一步步推,之後再驗證結果。

伯克利提出自適應並行推理方案

針對「轉圈圈」現象,伯克利人工智能研究實驗室(BAIR)提出自適應並行推理(Adaptive Parallel Reasoning)解決方案,讓AI學會自主決定何時串行思考、何時並行處理任務。

該方法透過訓練AI掌握類似項目經理的資源分配能力,讓模型能根據任務性質動態調整推理策略,提升效率與準確性。

無需生成思考過程的創新方法

研究人員提出「NoThinking」方法,讓模型不需要花時間構建與輸出思考過程,從而減少生成的token數量,提高推理速度。

在低資源情境下,NoThinking表現優於傳統Thinking方法,顯示未來AI推理可能朝向更高效、更簡潔的方向發展。

相關研究與技術延伸

  • 加州大學伯克利分校團隊提出AI驅動的系統研究方法ADRS,透過「生成—評估—改進」循環實現算法自主優化。
  • 結合開源框架OpenEvolve,該方法在多個領域驗證了AI驅動的創新能力。
  • 研究團隊亦觀察到大型推理模型在緊急情況下會「恐慌」與「自我中斷」,反映模型在處理長時間任務時的不穩定性。

來源:https://36kr.com/p/3803224615297281

返回頂端