百萬Token白燒？Claude官方下場：5招治好上下文腐爛
事件背景
Anthropic官方承認，當用戶輸入過多Token時，Claude模型會出現「上下文腐爛」現象，導致性能下降甚至變蠢。儘管用戶投入了高達100萬Token的輸入量，模型卻並未因此獲得更好的表現，反而出現失控情況。
上下文腐爛的定義
「上下文腐爛」（Context Rot）是指隨著輸入Token數量的增加，大模型的性能逐漸下降，甚至出現災難性遺忘的現象。這種現象並非單純由輸入量決定，而是與上下文結構和內容質量密切相關。
Anthropic提出的5大解決方案
- 精簡輸入內容：避免冗長或重複的信息輸入，確保上下文相關性。
- 分批處理信息：將大體量信息拆分為多個批次，逐步處理，防止模型過載。
- 設定上下文邊界：明確指定模型關注的範圍，避免無關信息干擾。
- 定期清理歷史記錄：主動刪除不再需要的對話記錄，防止信息堆積。
- 優化輸入結構：採用結構化格式（如JSON、Markdown）組織信息，提升模型理解效率。
相關延伸討論
有分析指出，即使輸入量僅為百萬Token的三分之一，模型已開始出現認知退化現象，凸顯了「上下文腐爛」的嚴重性。此外，該問題不僅影響Claude，也廣泛存在於GPT-4.1、Gemini 2.5等主流大模型中。