清華00後校友王冠再出新作:用1/900 token、1/432算力,顛覆Transformer預訓練模型

清華00後校友王冠再出新作:用1/900 token、1/432算力,顛覆Transformer預訓練模型

模型背景與創新點

開發者是那位拒絕了馬斯克、還要挑戰Transformer的00後清華校友,Sapient Intelligence的創始人王冠。他推出的27M小模型,是Sapient最新提出的開源可復現的分層推理模型(Hierarchical Reasoning Model, HRM),僅使用1000個訓練樣本,無需預訓練,也無需CoT數據,顯著降低了大模型的訓練門檻。

技術特點與優勢

  • 模型參數量僅約2700萬,遠低於主流大模型。
  • 採用分層推理架構,模擬類腦思維過程,提升推理能力。
  • 訓練過程無需大規模預訓練或複雜數據集,僅需少量樣本即可實現高性能。
  • 模型在多個任務上表現超越了o3-mini等現有小模型。

行業影響與觀點

王冠指出,當前大模型更像是在“背題”,其處理能力停留在系統1.5階段,類似人做夢的狀態。他的新模型試圖突破這一瓶頸,通過分層推理機制實現更高效、更真實的智能行為。

該模型的發佈與開源,為AI領域提供了低成本、高可復現的實驗路徑,有望推動更多研究者與開發者進入大模型領域。

來源:https://zhuanlan.zhihu.com/p/1937867759695434290

返回頂端