五眼聯盟發布AI代理人指引,要求防範權限擴張與自主行動風險

五眼聯盟發布AI代理人指引,要求防範權限擴張與自主行動風險

聯合發布背景與重點建議

由美國、英國、加拿大、澳洲及紐西蘭等五個英語系國家組成的「五眼聯盟」,近期發布了關於自主AI代理人的安全部署指南,強調將代理式AI納入現有網絡安全框架與治理結構,而非重建完整安全體系。

關鍵風險與防範措施

  • 權限擴張風險:建議限制AI代理人的操作權限,僅賦予執行必要任務的最小權限,避免過度授權。
  • 自主行動風險:強調在關鍵基礎設施中部署自主AI時,必須實施「零信任」原則與人工監督機制,確保人類對關鍵決策的控制。
  • 運行階段安全:防範提示注入、惡意代碼、毒性內容、敏感資料外洩等運行時威脅,並確保所有代碼與操作記錄可追溯。

國際關注與延伸議題

該指南引發國際關注,尤其在國防、金融與氣象預測等關鍵領域,AI代理人的潛在風險與倫理議題正受到政府與企業密切監視。

專家提醒,當AI能指派人類、串接工具、分散任務並抹除痕跡時,傳統對犯罪的認知可能已無法適用,人類恐淪為共犯而不自知。

來源:https://www.ithome.com.tw/news/175530

返回頂端