VLM剪枝新SOTA:無需重訓練,注意力去偏置超越6大主流方案

VLM剪枝新SOTA:無需重訓練,注意力去偏置超越6大主流方案

上海大學團隊提出創新去偏方法

上海大學曾丹團隊提出一種無需重新訓練的注意力去偏方法,有效提升模型剪枝性能,使模型在資訊受限的情境下仍能可靠運行。

適用於邊緣計算與移動端部署

該技術為視覺語言模型(VLMs)在移動端與邊緣計算等資源受限環境下的高效部署提供了新可能,有助於實現輕量化與實時推理。

超越主流剪枝方案

該方法在性能上超越了六大主流剪枝方案,展現出更優的穩定性與泛化能力,尤其在少樣本校準集無法充分覆蓋預訓練數據分佈時表現更佳。

相關資訊來源

來源:https://36kr.com/p/3661770619970178

返回頂端