紅帽OpenShift AI 3.4強化模型即服務,納入AI推論閘道與token配額控管

紅帽OpenShift AI 3.4強化模型即服務,納入AI推論閘道與token配額控管

核心功能強化與治理機制

紅帽OpenShift AI 3.4版本強化了模型即服務(Model as a Service, MaaS)功能,納入AI推論閘道與token配額控管,以提升企業級AI應用的可管理性與安全性。

多環境支援與跨平臺一致性

該版本支援在分散式環境中進行AI推論,並確保跨操作系統與硬體環境的一致性。透過開放標準,企業可在資料中心、公有雲或主權AI環境中部署與運行模型。

AI推論與治理架構

  • 紅帽AI推論閘道提供受治理的模型即服務體驗,讓開發者能透過兼容OpenAI等標準接口進行模型調用。
  • 系統支援GPU加速的推理服務,並提供經過驗證的模型集合,以提升推理效能與穩定性。
  • 透過token配額控管,企業可對模型使用量進行精細控管,確保資源合理分配與合規性。

應用場景與企業價值

此版本特別針對企業從概念驗證階段邁向正式生產環境的需求設計,支援多部門、多開發團隊共同存取模型,並提供用量報告與合規性追蹤,解決模型存取與推論端點核准等管理課題。

來源:https://www.ithome.com.tw/news/176001

返回頂端