Google提出TurboQuant方法，大幅降低LLM的KV快取與向量搜尋記憶體佔用

技術背景與目標

Google研究團隊發表TurboQuant，將這套量化方法應用於大型語言模型（LLM）的鍵值（KV）快取與向量搜尋壓縮。該技術旨在解決高維向量在推論與檢索過程中所佔用大量記憶體的問題，進而降低快取與相似度搜尋的成本。

記憶體佔用大幅降低：TurboQuant能將大型語言模型運行時的KV快取記憶體需求減少至少6倍，同時不損失模型準確度。
性能提升：在壓縮記憶體的同時，推論效率可提升達8倍，大幅改善AI模型的實際部署效能。
技術整合：TurboQuant整合了PolarQuant與QJL兩項技術，實現免訓練（training-free）的壓縮演算法，適用於KV快取與向量搜尋場景。

此技術一出，引發市場關注，尤其在AI記憶體相關產業中，如Nvidia與三星等記憶體股出現集體波動。然而，分析師對其長期效益與實際應用仍存有不同看法。