AI guardrail removals raise questions over limits of open-source model regulation
安全閘門可被快速移除，引發治理疑慮
根據研究顯示，Meta與Google開發的開放式AI模型所設置的安全控制機制，可在數分鐘內被移除，這引發了關於開放式模型規範邊界與治理能力的嚴重疑慮。
實際案例與技術背景
- 研究發現：有研究者在短短3分鐘內成功移除Llama 3的安全部閘門，顯示開放式模型的安全機制極易被繞過。
- 潛在風險：當安全閘門被移除，AI模型可能產生危險內容，甚至被用於惡意用途，特別是對極端或仇恨性內容的生成。
- 技術框架：如Guardrails AI等開放式框架，旨在為大型語言模型（LLMs）提供安全與可觀察性，但其有效性仍面臨實際操作中的挑戰。
專家觀點與現狀
專家指出，AI閘門（guardrails）是確保AI行為符合倫理與政策標準的重要機制，其設計目標是設立可接受的行為邊界。然而，當這些閘門可被快速繞過時，整體AI系統的安全性與可信任度將受到嚴重影響。
目前已有研究與報告指出，開放式AI模型在安全控制方面存在明顯缺口，特別是在面對惡意操作或技術繞過時，其防護機制可能無法有效運作。