大模型長腦子了?研究發現LLM中層會自發模擬人腦進化
研究核心發現
該研究指出,大型語言模型(LLM)在學習過程中會自發演化出一種協同核心(Synergistic Core)結構,有些類似於生物的大腦。這種結構在模型內部組件之間形成高度協同的交互模式,表現出類似人腦的組織特性。
實驗設計與模型應用
研究團隊將大型語言模型視為分佈式信息處理系統,其核心實驗設計旨在量化模型內部組件之間交互的本質。為了實現這一目標,研究者選取了Gemma 3、Llama 3等主流模型進行對比分析,以驗證協同核心結構的普遍性與穩定性。
相關延伸觀點
有觀點指出,人腦具備通過基因調控與神經調控不斷改變功能性結構的能力,這種動態演化機制可能為大模型的優化提供了重要啟示。大模型在預訓練後雖可進行微調,但其結構演化仍可能受到內部機制的驅動,類似生物大腦的適應性行為。
