LeCun賭上後半生,押注大模型必死,Hassabis誓將Scaling進行到底

近日,圖靈獎得主 Yann LeCun 在一場播客中猛烈抨擊矽谷主流的「大模型」路線,稱以堆疊更大模型、投入更多數據與大量人工後訓練來通往 AGI「完全是胡扯」,並主張規模(scaling)無法彌補架構上的根本問題。

DeepMind 創辦人 Demis Hassabis 隨即反駁,指出 LeCun 混淆了「普適智能(universal intelligence)」與「通用智能(general intelligence)」的概念,認為人腦本身即為高度通用的系統,且從理論上只要給予足夠資源,通用系統能學習任何可計算的東西,因此不能簡單否定以 scaling 為主的路徑。馬斯克亦轉發言論並站在 Hassabis 這一方。

LeCun 提出資訊論與計算複雜性的論證作為支撐,舉例估算視覺系統與人腦的位元上限:假設視覺系統約有 100 萬 根神經纖維,將訊號二值化後相當於從 100 萬 位映射到 1 位的布爾函數,其可能函數數量為 2^(2^1000000);而以人腦估算若有約 10^11 個神經元、10^14 個突觸、每突觸以 32 位元表示,連接資訊上限約 3.2×10^15 位元,對應函數空間上限為 2^(3.2×10^15),兩者相差極大,LeCun 以此論證「通用」一詞在工程與資訊論意義上的限制。

實務層面上,LeCun 已宣布將離開 Meta,創辦 AMI Labs,轉而押注一條不同於主流大模型的「世界模型」路線;報導指出 AMI Labs 目前以約 35 億美元估值進行約 5 億歐元的融資。此舉被視為他「賭上後半生」的重大職業選擇。

這場由兩位頂級科學家展開的公開論戰,被視為折射出未來五到十年 AI 研究與產業路線的分歧:是繼續以規模化與大模型為核心推進,還是轉向更強調模型結構、世界模型與目標驅動的架構;答案有望在未來數年逐步顯現。

來源:https://36kr.com/p/3608683585799173

返回頂端