Google推論框架LiteRT進階硬體加速上線，跨平臺GPU、NPU加速支援更完整
GPU與NPU加速支援擴展至多平臺
Google更新裝置端推論框架LiteRT，將進階硬體加速能力正式納入產品堆疊，並對開發者開放。此次更新補齊了GPU與NPU的加速流程，GPU支援從先前在Android導入的路徑，擴展至Android、iOS、macOS、Windows、Linux與Web，實現裝置端AI推論在行動端、桌面與網頁之間的一致性。
整合NPU與編譯策略提升效能
LiteRT已整合NPU部署流程，並結合AOT（Ahead-of-Time）與JIT（Just-In-Time）編譯策略，提升即時與大型模型推論的效能。透過零複製硬體緩衝區，減少記憶體副本，有效降低資源消耗。
支援多種硬體與應用場景
- LiteRT僅佔用數MB空間，卻能有效利用CPU、GPU與NPU（如Edge TPU）進行推論加速。
- MediaPipe Tasks底層以LiteRT為推論引擎，已享有硬體加速優化，適用於多種即時應用。
- 支援PyTorch與JAX等主流機器學習框架，提供開發者更彈性與高效的開發體驗。