AI 代理的未來:責任歸屬決定是「增強」還是「替代」
責任是增強與替代的分界線
文章指出,AI 代理的未來分化不取決於模型能力的躍遷,而取決於一個更基礎的設計變數——責任究竟落在誰身上。當決策仍需人類簽字、責任可追溯到具體個人時,AI 是放大器;當這一環節被移除(如自動批准、跳過權限),系統就會自然滑向替代。
權限疲勞:系統自發滑向「替代」
「權限疲勞」會讓用戶逐步放棄審核,從逐條批准到預設同意,最終讓系統繞過人類。這是一種認知機制,而非道德問題。例如,Claude Code 提供的 --dangerously-skip-permissions 參數,本質上就是承認系統既可以以「增強人類」模式運行,也可以以「悄然替代人類」模式運行。
Agent 的價值:讓人「簽字」
Agent 真正的價值不是完成工作,而是將複雜世界壓縮成一個「可簽字的決策單元」。在「增強」框架下,Agent 完成除「簽字」之外的一切工作,讓某個人能在其上署名負責。文章提出,每個重要決策必須對應一個具體、可拒絕的人,且誰從 Agent 的自主性中獲利,誰就要為出問題負責。
Anthropic 悖論
Anthropic 被視為典型案例,展示瞭如何發生「內生偏移」。該公司在安全框架上表達清晰,但其產品中便捷的「危險開關」卻提供了從「增強」走向「替代」的最短路徑。其推出的「auto mode」(自動模式)雖試圖解決審批疲勞,但用模型審批替代人類審批,並未真正解決責任歸屬問題。
市場邏輯的重寫
主流敘事認為垂直領域 Agent 將吸收一半工作崗位,價值集中於少數巨頭。但文章提出「增強式」框架下的市場將更大:其規模錨定的是約 40 萬億美元的全球知識勞動收入,而非企業軟件支出。在這個市場中,賣出的不是「自主 Agent」,而是「被放大的人類能力」。
結論:選擇讓人負責,還是讓人消失?
讓人類繼續承擔責任,會迫使系統架構圍繞「增強人類」展開;一旦把人從責任鏈中移除,系統就會預設滑向「替代」。文章呼籲,如果構建者主動完成責任分層設計,我們將相對平穩地進入一個「增強式未來」;否則,監管機構與保險承保人將替他們完成,結果同樣會走向那裡。
