微軟Foundry Local正式版發布，支援將本地AI推論整合進應用程式
什麼是Foundry Local？
Foundry Local 是一款端對端的本地AI解決方案，能處理模型擷取、硬體加速與推論——所有這些都整合在您的應用程式內。
開發者整合與應用場景
- 開發者可透過SDK將AI模型直接嵌入應用程式，在使用者裝置上離線執行推論，無需雲端連線。
- Foundry Local Core與ONNX Runtime執行檔會在建置階段自動納入應用程式，不需終端使用者安裝額外軟體。
- 該方案體積精簡，不會明顯增加安裝包大小，提供開發者無縫的開發體驗。
- 支援整合微軟模型目錄（model catalog）與第三方模型目錄如Ollama和Nvidia NIM，擴展模型選擇彈性。
跨平臺與應用實例
Foundry Local已支援Android與Windows平臺，Android版本提供快速、私密且離線的AI體驗，用戶無需將資料發送到雲端即可獲得即時回應。
此外，Foundry Local與Azure AI Foundry無縫整合，提供開發者在本地與雲端之間的靈活選擇。
技術與未來發展
Foundry Local作為邊緣AI開發的下一代技術，提供開發者強大的工具來本地化建構、部署及擴展AI應用，同時保持與Azure AI Foundry的無縫整合。