Transformer親爹痛斥:當前AI陷死衚衕,微調純屬浪費時間!

Transformer親爹痛斥:當前AI陷死衚衕,微調純屬浪費時間!

Transformer並非AI終點,需生物啟發新架構

Transformer曾是AI革命的巔峰之作,但其發明者Llion Jones警告:它並非終點。就像RNN被取代一樣,當前無數微調研究可能只是局部優化,而真正的突破可能需要從生物啟發出發。

現有微調研究可能只是局部優化

令人不安的是:如果他是對的,那麼所有埋頭改進Transformer變體的人都在浪費時間。所有混合專家模型、所有架構微調、所有注意力機制變體——都可能在新範式下顯得過時。

新範式可能來自生物啟發

文章指出,真正的AI突破可能不在於對Transformer的微調,而在於從自然界中汲取靈感,發展出全新的架構,以突破當前AI的侷限。

來源:https://36kr.com/p/3643193251516297

返回頂端