OpenAI 為 Responses API 增加 WebSocket 支援,長鏈任務提速 40%
新增 WebSocket 模式優化長鏈工作流
OpenAI 近期更新其 Responses API,正式引入WebSocket 模式,專為涉及頻繁工具調用的複雜工作流進行優化。此模式透過建立持久連線並支援增量輸入,顯著提升了處理長鏈任務的效率。
執行速度提升約 40%
根據 OpenAI 開發者文件與相關測試數據,該模式在包含20 次以上工具調用的長鏈任務中,可將端到端執行速度提升約40%。Alpha 用戶對此反應熱烈,表明其智能體工作流的性能最多可提升 40%。
支援零數據保留(ZDR)與上下文續接
WebSocket 模式完全兼容零數據保留(Zero Data Retention, ZDR)規範。使用者可利用 previous_response_id 實現低延遲的上下文續接,這對於需要長時間運行的代理式工具呼叫流程至關重要。
技術細節與限制
- 連線機制:建立持久連線至 /v1/responses 端點。
- 輸入方式:支援增量輸入,允許在連線期間持續更新指令。
- 時長限制:目前單次連線時長限制在60 分鐘以內。
- 吞吐量:在生產環境中已觀察到持續吞吐量約為每秒 1,000 筆交易。
應用場景與整合
此功能特別適用於需要高吞吐量與低延遲的智能體(Agent)工作流。例如,Vercel 將 WebSocket 模式整合至 AI SDK,並觀察到延遲降低多達 40%。Cline 等多文件工作流程也透過此機制加快了處理速度。
