10萬引普林斯頓劉壯最新訪談：架構沒那麼重要，數據才是王道
論文背景與技術演進
這篇論文於2021年完成，當時Transformer結構透過視覺Transformer的引入，開始進入計算機視覺領域，整個視覺社群從傳統的卷積神經網路逐步轉向基於Transformer的架構。
核心觀點：數據勝於架構
劉壯在訪談中強調，AI系統的發展中，「架構」並非關鍵，真正決定表現的要素是「數據」。他指出，即使模型架構再精巧，若缺乏足夠高品質的訓練數據，其性能仍將受限。
記憶與智能體的限制
劉壯進一步提出，記憶機制是當前AI系統最大的瓶頸。目前的智能體多為權宜之計，僅能處理短期任務，缺乏長期記憶與情境理解能力，這限制了其在真實世界應用中的發展潛力。
未來發展方向
他認為，未來AI的突破點將來自於數據的規模與品質，而非模型架構的創新。唯有透過更豐富、更真實的數據，才能真正實現具有人類級理解能力的AI系統。