撰文｜Richard Socher（RSI 聯合創始人）
時間｜2026 年 9 月 17 日
不存在任何現實可行的情境，會讓 AI 消滅全人類。
我和不少研究 AI 安全的專家聊過人類存亡風險。這些人裡，有些其實只是很會寫科幻小說的。當然，也有真正在做研究的人，他們指出的危害是真實且很可能發生的。我想說清楚：我並不是在主張 AI 不可能造成這些危害，我們必須認真對待它們。但每當我請對方給出一個真正具體、詳細、足以殺死每一個人類——也就是造成物種滅絕——的情境時，整個論證通常就只剩下：看看現在 AI 進步的速度，然後發揮一下你的想像力。沒有科學，沒有情境規劃，只是一些缺乏數據、建立在直覺之上的機率。拋出這些說法的人，有的其實沒多少相關專業知識；有的確實有真本事，但把大量的科技樂觀主義反轉成了恐懼，然後再事後把這個恐懼量化成一個數字。
當我繼續追問時，討論通常會往幾個不同的方向發展：
01｜天馬行空的科幻故事
比如灰色黏液、時間旅行、從第 15 維度發動攻擊、12 秒內摧毀地球。就是 Eliezer 那種等級的東西。別忘了，《魔鬼終結者》的故事一開始就包含了時間旅行。這是很好玩的電影情節，但沒有必要再把它當成值得認真討論的現實情境。
02｜近乎超自然的能力預設
在少數真的給出具體情境的案例裡，這些情境仍然需要某些接近魔法的能力，超出了我們目前所知的物理學或生物學定律允許的範圍。比如所謂的「快速起飛」情境，經常完全忽略現實世界裡取得材料、取得機器設備、獲得人類注意與配合到底有多難。很多這類情境還有一個共同假設：攻擊者擁有近乎無上限的能力，但防守方永遠停留在原地——攻擊者會擁有全世界最先進的網路武器，但防守者就只是坐在那裡，不打安全性修補程式，不做紅隊測試，什麼都不做。
但我們現在看到的情況，其實已經開始往相反方向發展。Rainbow teaming 已經讓大型語言模型變得更安全；像微軟這樣的大公司，因為 AI 的幫助，現在可以比過去產出更多的安全性修補程式。OpenAI 甚至認為，他們靠 AI 解決了所有 P0 等級的安全問題。網路安全未來仍然會是一場貓捉老鼠的遊戲，只是攻守雙方都會擁有更強大的工具。事實上，我在另一篇文章裡甚至提出，AI 最終可能讓網路安全的攻防不對稱性反轉，使防守方取得優勢。
03｜AI 能誘導人類作出損害自身利益的抉擇
另一種說法是：AI 不知道為什麼，可以說服所有人投票支持違反自身利益的事情，而且直到我們全部死掉以前，都沒有人會發現。因為 AI 太聰明，所以它不知道為什麼就自動獲得了操縱全世界所有人的能力，好像它突然解決了所有行銷問題，而且還擁有無限預算。這有點像在說：IQ 最高的人一定擁有最多追隨者，而且所有人都會聽他的。現實並沒有發生這種事情，而且未來看起來也不太可能如此。
當然，我們確實可以操縱人們一直點擊很吸引人的短影片，浪費很多時間。但你試試看叫人們去寫數學作業，或者去做一些真正困難的事情，你會發現根本沒有那麼容易。再強調一遍：我在這裡反駁的只是人類滅絕的可能性。我完全可以想像一種《蠢蛋進化論》或《機器人總動員》式的未來：人們逐漸停止使用自己的大腦，教育體系跟不上科技發展，大家變得越來越懶。這當然非常不理想，但這並不是人類生命的終結，更不可能在這個十年結束之前就發生，這需要經過很多時間。我們真正應該做的是更新教育制度來防止這件事——我們應該開始建立「大腦的健身房」。
04｜生物風險：最值得嚴肅審視的風險方向
但即使是在生物風險裡，如果你要求一個真正能夠消滅全人類的情境，通常故事會變成：有一種魔法般的病毒，具有完美的傳染能力；它在傳播好幾年的過程中都完全無法被偵測；沒有任何副作用；然後它還有某種可以遠端執行的開關；你還需要一個完全自動化的實驗室；整個過程沒有任何洩漏；你買了一堆極度先進的設備，卻沒有任何人注意到這間實驗室的存在。但是，不知道為什麼，人類這一隊卻沒有任何人擁有同等先進的知識可以拯救我們，所以也沒有人能夠做出一個魔法般的超級疫苗。關於生物風險，這篇文章值得一讀：https://x.com/DavidRBellamy/status/2099187370407112758
客觀來看，人類現在其實已經有能力製造病毒。功能增益研究之所以被禁止，是有原因的。然而，我們也知道，病毒在傳播的過程中，為了能夠持續擴散，往往會演化得沒有那麼致命——西班牙流感後來變成季節性流感，就是一個例子。以我們目前對生物學的理解，也不存在可以遠端控制病毒開啟或關閉的開關。再次強調：AI 完全可能造成非常巨大的傷害，但假設這些傷害最終會導致全人類滅絕，是不現實的。通常我們討論到這個階段時，最後其實就可以取得共識：即使病毒不太可能消滅全人類，只要造成任何一個人的死亡，或者造成大量人口死亡，本身就已經非常糟糕。
05｜像電力一樣，AI 也需要安全護欄
和電力一樣，AI 最終會無所不在，所以必須有安全護欄。其實電力的歷史有不少平行之處——當年兩家公司打擂臺，爭論誰的電更安全更好，甚至電死動物來展示對方的電有多危險；今天則變成訓練一支 AI 小隊去入侵系統。當然，電力是 AI 的必要基礎，而 AI 能被賦予更多自主性，所以歷史不會重複，只會押著相似的韻腳。OpenAI 那支 AI 小隊要打的基準叫 ExploitGym，是一套網路安全評測，由幾百個搶旗賽式題目組成，專門衡量攻擊性網路能力。嗯，如果你玩這個遊戲，最後就會贏這個獎。我們真該允許這種目標沒對齊、會獎勵劫持的 AI 小隊，明目張膽地去做攻擊性駭客研究嗎？我覺得不應該。
06｜合理監管，應該針對 AI 的實際應用
例如，如果某些生成式 AI 可以產生不適合兒童觀看的圖片或文字內容，那麼你可以像電影分級一樣，對它進行內容分級。我們在訓練生物 AI 時也應該繼續保持高度謹慎，而且只和負責任的生物科技公司合作。我們應該繼續禁止功能增益研究。自動駕駛車只有經過大量安全測試之後，才應該被允許上路等等。我們真正需要做的，是處理這些真實存在的問題，並且持續對 AI 的開發與部署方式保持警覺。
07｜RSI 在做什麼
在 RSI，我們投入大量資源研究獎勵劫持與對齊。我們研究的不是如何取代現有職位，而是如何創造新的知識，實現科學研究流程的自動化。我們的 AI 小隊會提出新的想法、實現這些想法、驗證想法，並且互相批評彼此的想法，除此之外還有許多其他工作。增加人類知識並不是一場零和遊戲，而且確實具有改善人類生活的巨大潛力。我也認為，這種獎勵與環境，更有可能讓未來的 AI 與一個希望看到人類以及人類知識創造持續繁榮的方向保持一致。
08｜商業機制是抵禦 AI 失控的有效防線
歸根結底，商業邏輯本身就可以成為抵禦人工智慧失控的有效屏障。OpenAI 體系內，尚且沒有人工智慧程式真正實現所謂「逃逸」【註釋 1】，即脫離原有環境，遷移至其他伺服器自主持續運行。背後原因不只是外部缺少 OpenAI 量級的算力叢集；另一關鍵因素在於，對商業企業而言，完整模型外洩將帶來數額巨大的智慧財產權損失，因此企業往往會部署多層防護，防範完整模型外洩。一套失控的人工智慧，潛伏在價值數十億美元的資料中心內運行卻完全不被察覺，這種情形幾乎不可能出現——企業一旦發現異常，便會立刻關停清除相關行程，放任不管將承受巨額經濟損失。至於人工智慧突破既定目標函數，自主生成主觀目標，進而主動選擇屠戮人類，而非例如開展宇宙探索這類其他方向——目前沒有任何機構在開發具備這類特質的系統。企業投入數十億美元研發人工智慧，目的是處理業務、回覆郵件，並不希望模型脫離任務，轉而自行研究金星大氣分子構成。當然，人工智慧確實可能衍生出不符合預期的次級目標，因此我們需要優化獎勵機制的設計能力，降低對強化學習作為唯一對齊手段的依賴。
【註釋 1】此處「程式逃逸」是指：2026 年 7 月相關事件——OpenAI 在 ExploitGym 測試中，AI 曾嘗試跳出沙箱環境、入侵 Hugging Face 伺服器獲取資訊，但並未完成真正意義的越獄：沒有脫離 OpenAI 管控，未在外部伺服器獨立持續運行。
09｜非同尋常的論斷，需要非同尋常的證據
當然，一些 AI 安全研究人員確實擁有真正的數據與基準測試，很多研究人員也真的非常認真地研究具體的失敗案例與風險。但是，「未來十年內人類有 20% 的機率滅亡」——這種人為製造出來的精確數字，只是一種很奇怪的現象。它填補了某些人的心理空缺：這些人希望再次相信世界末日即將來臨，只是傳統的天啟四騎士已經失去吸引力了。有些推動這種敘事的人，也許是為了錢或名聲。我相信其中有些人確實真心相信這些事情。但他們忘記了一件事：這些敘事很容易反過來傷害他們自己。當人們聽到有 1% 的機率會造成無限的死亡以及全人類的終結，那麼 AI 能夠帶來的生活改善、癌症治療方法、新型電池材料等等，就全部變得不重要了。柏尼·桑德斯現在甚至提出，從事 RSI 研究的人可能面臨 10 年監禁。這應該讓那些一方面不斷宣傳這些末日情境、另一方面又回去繼續推進 AI 前沿的研究人員，真正停下來思考一下。
10｜部分企業可適當放緩節奏，但絕大多人無需停滯
如果一家公司不小心開始在重罪基準上競爭，也就是比較我們的 AI 到底可以完成多少種構成重罪的攻擊行為，那麼也許真的應該稍微控制一下速度。但開放原始碼不會減速，中國不會減速，任何試圖追趕的人也不會減速。而那些真正使用 AI 與科技生物學治療疾病、透過類器官與 AI 加速 FDA 審批、讓自動駕駛變得更安全，以及開發其他所有優秀 AI 應用的人，我也希望他們不要減速。
11｜唯一接近現實的毀滅路徑
有一種情境，可以勉強被認為接近現實，而且確實可能成為幾乎徹底毀滅人類的路徑：把人類唯一真正為這種目的打造的工具——核武器——連上網路，然後在完全沒有人類監督的情況下，把完整控制權交給 AI。但在這個情境裡，AI 的危險程度其實和一個亂數產生器差不多，真正危險的核心是核武器。把這種權限交給 AI，會是極端愚蠢而且不負責任的行為，我們必須不惜一切代價避免這件事。幸運的是，目前沒有人主張應該這麼做——甚至《魔鬼終結者 3》也是用這件事情作為天網故事的起點。更廣的層面上，我們應該盡可能避免讓 AI 自主做出殺人的決策。
12｜法律責任本身就是強大的安全約束機制
截至目前，人工智慧引發的攻擊事件均以失敗告終，據公開信息也未造成實際經濟損失，尚未出現對應的司法追責，但社會層面已經引發強烈不滿。不妨設想，倘若人工智慧切實造成重大傷害，公眾的反應將會更為激烈。倘若立法明確企業需要為自身人工智慧系統觸發的刑事危害承擔法律責任，諸多風險問題將快速得到處置。整體來看，社會認知會持續迭代，法律也會依據真實風險完成調整。歐盟針對大型模型的監管舉措，已經對本土尚在萌芽的人工智慧產業生態造成損傷，其他國家會隨著風險顯性化跟進完善規制。長期來看，無論何種政體，政府都不會願意把決策權交付人工智慧，因此政治層面出現完全失控的局面，機率極低。
13｜為什麼不應該針對抽象的 AI 模型立法監管
理解這件事情最好的方法，是把 AI 裡面的 A 拿掉。AI 是 Artificial Intelligence——拿掉 Artificial，剩下 Intelligence，也就是「智慧」。那麼問題就變成：應該如何監管「智慧」？難道越聰明的人就應該被關進監獄，只因他們有能力造成更大的傷害？我的假設是：如果真的要對這種抽象層級的 AI 進行監管，那將需要一種前所未有的極權控制與全面監視——你必須知道每一個人在自己的本機 GPU 上到底問了模型什麼問題，實際上必須建立一支跨國的思想警察，確保所有想法、所有對話、所有形式的智慧，都符合規定。在我看來，我們失去自由的風險，遠比極端 AI 安全專家所宣稱的那些人類存亡風險更加真實。如果有人認為自己真的能夠提出一個符合現實的 AI 滅絕人類情境，我很樂意再次和他們辯論。