Tether推出BitNet LoRA框架,支持手機端大模型訓練

Tether推出BitNet LoRA框架,支持手機端大模型訓練

框架重點與技術特色

Tether 旗下 QVAC Fabric 推出全球首個針對 Microsoft BitNet(一比特 LLM)的跨平臺 LoRA 微調框架,大幅降低大模型訓練所需的顯存與算力門檻。

支援設備範圍

  • 支援 Intel、AMD、Apple Silicon M 系列等桌上裝置。
  • 支援移動 GPU,包括 Adreno、Mali 及 Apple Bionic。

實際應用與效能表現

已在 Pixel 9、S25、iPhone 16 等設備上成功演示最高 38 億參數模型的微調,並可在 iPhone 16 上微調 130 億參數模型。

手機端 GPU 推理速度比 CPU 快 2 至 11 倍,且記憶體佔用最高可減少。

來源與資訊來源

資訊來自多個媒體平臺,包括新財經、Binance、X、ChainCatcher、比推等,內容一致確認 Tether 推出該框架為全球首個跨平臺 BitNet LoRA 框架。

來源:https://www.panewslab.com/zh/articles/019cfbe8-2310-77ff-ad31-e6ebb4387331

返回頂端