大模型長腦子了?研究發現LLM中層會自發模擬人腦進化

大模型長腦子了?研究發現LLM中層會自發模擬人腦進化

研究核心發現

該研究指出,大型語言模型(LLM)在學習過程中會自發演化出一種協同核心(Synergistic Core)結構,有些類似於生物的大腦。這種結構在模型內部組件之間形成高度協同的交互模式,表現出類似人腦的組織特性。

實驗設計與模型應用

研究團隊將大型語言模型視為分佈式信息處理系統,其核心實驗設計旨在量化模型內部組件之間交互的本質。為了實現這一目標,研究者選取了Gemma 3、Llama 3等主流模型進行對比分析,以驗證協同核心結構的普遍性與穩定性。

相關延伸觀點

有觀點指出,人腦具備通過基因調控與神經調控不斷改變功能性結構的能力,這種動態演化機制可能為大模型的優化提供了重要啟示。大模型在預訓練後雖可進行微調,但其結構演化仍可能受到內部機制的驅動,類似生物大腦的適應性行為。

資訊來源

36氪騰訊新聞網易新聞機器之心 等平臺均有相關報道。

來源:https://36kr.com/p/3639980743953796

返回頂端