Transformer已死？DeepMind正在押注另一條AGI路線
內容摘要
根據 36氪的報導，DeepMind 正在探索與 Transformer 不同的通用人工智慧路線，聚焦於嵌套學習等方法，以突破現有的持續學習瓶頸。該文章描述此方向為對 Transformer 之後時代的一種可能替代路徑。
文章指出，Transformer 自推出以來帶動了大模型的發展，但在長期跨任務的連續學習與知識整合方面仍面臨挑戰。嵌套學習被描述為透過在多層級或模組間建立記憶與知識結構，提升模型的可持續學習能力。
由此可見，DeepMind 的研究重心似乎不再僅局限於改良 Transformer，而是尋求結合新的記憶與推理機制，為 AGI 打下更廣泛的基礎。文章亦稱這是一種《Attention is All You Need》續集的說法，強調若 Transformer 的 Scaling 時代遇到瓶頸，嵌套學習等新路線可能引領 AI 走向新時代。