統治AI十年的Transformer,要被親爹親手砸碎?

統治AI十年的Transformer,要被親爹親手砸碎?

背景與脈絡

Transformer架構自2017年提出以來,成為人工智慧領域的主流模型,廣泛應用於自然語言處理、圖像識別等多種場景。其「自注意力機制」被視為AI發展的關鍵突破,長期主導AI技術的演進。

對抗與變革

近年來,隨著混合專家模型(Mixture of Experts, MoE)與其他新架構的出現,學界與產業界開始質疑Transformer是否仍為最優解。例如,華為、谷歌等企業已投入資源開發新一代模型,試圖突破Transformer的限制。

其中,「親爹」一詞被用來比喻Transformer的設計者——Google的團隊,暗示其技術優勢來自於長期積累與實驗,而新模型可能正是由其內部創新所催生。

未來展望

儘管Transformer仍具備強大影響力,但隨著新技術的不斷出現,AI領域正處於轉型期。未來是否會出現能超越Transformer的架構,仍需觀察實際應用與實驗結果。

來源:https://36kr.com/p/3826855054185349

返回頂端