Treat AI Agents as Untrusted Systems: Researchers

研究重點：AI Agents 應被視為不信任系統

研究人員指出，由於當前評估技術的限制，足夠有能力的AI代理應被視為不信任實體，以降低與其互動可能帶來的風險。

安全設計與實務建議

• 隔離執行環境：任何由基礎模型產生的程式碼都應被視為不信任且可能具有惡意行為，必須進行隔離執行。
• 系統層級安全：AI代理的安全性已成為系統層級的問題，系統必須能辨識並處理來自不信任內容的指令。
• 權限控制：AI代理若能存取敏感系統、讀取機密資料或以廣泛授權執行操作，應被視為具有高風險，需嚴格追蹤與管控。

相關研究與政策

美國政府已發出請求，希望瞭解AI代理系統在安全考量方面的細節，包括對不信任資料、網路存取許可權等控制機制的建議。

多項研究探討AI代理的資安挑戰，並提出三層框架，用以指導安全設計與負責任部署。

延伸閱讀

• Researchers Submit Response to U.S. Government Request on Security Considerations for AI Agents
• How to Approach Security in the Era of AI Agents
• [PDF] AI Agents Under Threat: A Survey of Key Security Challenges

來源：https://cointelegraph.com/news/google-meta-researchers-ai-agents-untrusted-system-security