Tether發佈跨平臺BitNet LoRA框架，十億參數模型可在消費級設備完成微調

框架功能與技術亮點

Tether宣佈推出QVAC Fabric中的跨平臺BitNet LoRA微調框架，實現對Microsoft BitNet（1-bit LLM）的訓練與推理優化。

該框架顯著降低算力與內存需求，使十億參數級模型可在筆記本、消費級GPU及智能手機上完成訓練與微調。

跨平臺支持與硬件兼容性

• 首次實現BitNet模型在移動端GPU（包括Adreno、Mali及Apple Bionic）上的微調。
• 支持Intel、AMD及Apple Silicon等異構硬件，首次實現非NVIDIA設備上的1-bit LLM LoRA微調。

性能表現與實際應用

• 測試顯示，125M參數模型可在約10分鐘內完成微調，1B模型約需1小時。
• 在手機端可擴展至13B參數模型，目前已在iPhone 16、Pixel 9、Galaxy S25等旗艦機型上實現38億參數模型的本地運行與微調。
• 在移動GPU上的推理速度較CPU提升2至11倍，顯存佔用較傳統16-bit模型最高降低約77.8%。

技術意義與未來展望

Tether表示，該技術有望打破對高端算力與雲基礎設施的依賴，推動AI訓練向去中心化與本地化發展，併為聯邦學習等新型應用場景提供基礎。

來源：https://www.panewslab.com/zh/articles/019d0e16-3b14-734f-9e03-10df19be7b39