OpenAI推論API新增WebSocket模式，代理式工具呼叫流程最高可加速40%

新增WebSocket模式，提升長鏈流程效率

OpenAI在自家模型呼叫介面Responses API推出WebSocket模式，讓開發者可透過持久的WebSocket連線呼叫API，並在多回合互動時只傳送新增的輸入項目，以回應ID銜接前一次的對話狀態。

端到端執行時間最高改善約40%

官方提到，在包含20次以上工具呼叫的長鏈流程中，端到端執行時間最高可改善約40%。與既有的HTTP呼叫方式相比，WebSocket模式延續對話狀態的方式大致相同，並透過持久連線與增量輸入機制，有效縮短整體執行時間。

相容ZDR與不保留資料設定

WebSocket模式亦相容ZDR（Zero Data Retention）設定，確保資料不被保留，符合隱私與安全需求，主要鎖定長時間執行且工具呼叫密集的代理式工作流程。

實際應用案例與測試回饋

• Vercel將WebSocket模式整合到AI SDK，並看到延遲降低多達40%。
• Cline的多檔案工作流程速度提升39%。
• Alpha測試回饋相當正面，使用者回報其智慧體工作流程效率最高提升40%。

來源資訊

此資訊來自OpenAI官方開發者文檔與iThome新聞報導，內容涵蓋技術細節與實際應用案例。