VLM剪枝新SOTA:無需重訓練,注意力去偏置超越6大主流方案

VLM剪枝新SOTA:無需重訓練,注意力去偏置超越6大主流方案

上海大學團隊提出無需重訓練的注意力去偏方法

上海大學曾丹團隊提出一種無需重新訓練的注意力去偏方法,有效提升模型剪枝性能,使模型在資訊受限的情境下仍能可靠運行。

適用於VLMs在邊緣計算與移動端部署

該方法為視覺語言模型(VLMs)在移動端與邊緣計算等資源受限環境下的高效部署提供了新途徑,有助於實現模型輕量化與實時推理。

超越六大主流剪枝方案

該技術在注意力去偏置方面表現優於現有六大主流剪枝方案,展現出更強的穩定性與泛化能力。

相關資訊來源

來源:https://36kr.com/p/3661770619970178

返回頂端