Transformer親爹痛斥:當前AI陷死衚衕,微調純屬浪費時間!
Transformer並非AI終點,需生物啟發新架構
Transformer曾是AI革命的巔峰之作,但其發明者Llion Jones警告:它並非終點。就像RNN被取代一樣,當前無數微調研究可能只是局部優化,而真正的突破可能需要從生物啟發出發。
現有微調研究可能只是局部優化
令人不安的是:如果他是對的,那麼所有埋頭改進Transformer變體的人都在浪費時間。所有混合專家模型、所有架構微調、所有注意力機制變體——都可能在新範式下顯得過時。
新範式可能來自生物啟發
文章指出,真正的AI突破可能不在於對Transformer的微調,而在於從自然界中汲取靈感,發展出全新的架構,以突破當前AI的侷限。
