讓大模型看懂「高亮標注」：在注意力計算前編輯Key向量，用頻譜分解讓模型「聽你指揮」

核心概念：在注意力計算前編輯Key向量

該方法另闢蹊徑，在注意力計算之前直接編輯Key向量，透過頻譜分解學習「相關性子空間」來引導注意力分配，天然兼容FlashAttention，延遲開銷幾乎為零。

技術機制：頻譜分解與相關性子空間

透過頻譜分解，模型可以識別並強調與當前輸入相關的資訊子空間，進而讓注意力機制更精準地聚焦於關鍵內容，提升模型對重點資訊的捕捉能力。

應用場景與優勢

• 適用於大語言模型（LLM）中對重點資訊的強調與提取。
• 能有效提升模型對「高亮標注」內容的理解與反應能力。
• 由於操作在注意力計算前完成，不會影響後續計算流程，且延遲開銷極低。

相關技術背景

在Transformer模型中，每個詞語會生成一個Key向量，代表它「能提供什麼類型的資訊」，即為自身的「內容標籤」。此機制為自注意力結構的核心基礎。

來源：https://www.sohu.com/a/1003342863_610300?scm=10001.325_13-325_13.0.0-0-0-0-0.5_1334