向AI宣戰?火燒奧特曼住所背後的末日敘事
事件經過
今天凌晨3點45分,奧特曼在美國舊金山的社區被扔了一隻燃燒瓶,所幸沒有引發火災,沒有人員受傷。一個多小時後,這位20歲的嫌疑人又出現在OpenAI總部門口,揚言要縱火。
嫌疑人背景
該嫌疑人名為Daniel Moreno-Gama,網名為”Butlerian Jihadist”,是PauseAI社群的活躍成員。他在Discord上擁有六個角色,其Instagram賬號幾乎被末日情緒內容佔據,包括能力曲線配文”如果我們很快不採取行動,我們就會死去”,以及將現實置於《黑客帝國》《終結者》和《蠢蛋進化論》交集之中的維恩圖。
社群與思想體系
他曾在襲擊發生前四個月推薦尤德科夫斯基(Yudkowsky)和索亞雷斯(Soares)的文章《如果有人把它造出來,我們所有人都會死》。該文章主張,一旦人類造出”超人類智能”(遠超人類的AI),如果沒有被完全對齊(alignment),那麼它極有可能失控並對人類構成生存級威脅,認為AI不只”有風險”,而是幾乎必然導致災難。
在PauseAI社群中,成員通過不斷升級立場強度來證明自己的”堅定”,對”人類滅絕概率(P(doom))”的估計從50%一路攀升到90%、再到99.99999%。
社群中曾有言論稱,正確的回應應是”走到全國各地的實驗室,把它們燒掉”,並啟動了所謂的”警告射擊協議”(Warning Shot Protocol),將某個AI模型認定為”滅絕性武器”。一名Anthropic研究員甚至被指責”活該承受即將發生在她身上的一切”。
邏輯推演與行動
在一篇寫給社區大學英語課的自述中,該嫌疑人將自己定義為”結果主義者”(consequentialist):”如果結果無法匹配,我幾乎不會相信動機。”他在12月3日於PauseAI的Discord裡寫道:”我們已經接近午夜,是時候真正行動了。”
隨後,他真的行動了,向Sam Altman的住所投擲燃燒瓶,並步行前往OpenAI總部威脅縱火。目前,他已因涉嫌謀殺未遂被警方拘捕。
反思與批判
尤德科夫斯基的框架建立在一個混同之上:只要AI足夠聰明,就必然會獲得毀滅人類的能力,因為”智能會自動轉化為能力”。然而,許多追隨者缺乏技術背景,僅具備”語言智力”,能構造複雜的風險論證,卻無法構建實際系統。
這種思想體系更像一個擁有起源神話的”神職體系”,而非安全運動。當其邏輯被推至極致,甚至可接受”為了拯救最後的1%,犧牲99%的人”。
儘管該事件發生,但社群成員仍表現出驚訝,正如尤德科夫斯基曾回應記者提問:”如果你看到一條新聞,說我這麼做了,你會覺得『哇,AI已經被阻止了,我們安全了』嗎?如果不會,那你其實已經知道,這種做法並不奏效。”
