文 | 影子備忘錄
2026年9月12日,Anthropic CEO達里奧·阿莫代伊在自己的部落格上發表了一篇長文,罕見呼籲全球前沿科技AI踩下剎車鍵科技。
文章的核心訴求只有一句話:“我們不得不放緩AI模型能力的提升速度科技。即使速度變慢,進展仍將顯得很快,我們必須善用爭取到的時間。”
放在幾年前,這句話大概會被矽谷當成異端科技。但這一次,市場反應完全不同。
文章發出後數小時內,馬斯克在X上回了一句“Dario說得對”科技。奧特曼隨即跟進,不僅公開表示同意,還承諾OpenAI將向獨立第三方評估機構開放“員工級別”的系統訪問許可權,並向《財富》雜誌確認OpenAI 2026年不會推進IPO。
這三個人之間的關係不需要多解釋科技。馬斯克和奧特曼已經公開決裂多年,馬斯克甚至起訴過OpenAI背離初心。
阿莫代伊和奧特曼之間則是AI領域最直接的競爭關係,即Anthropic的Claude和OpenAI的GPT系列,幾乎每一個月都在能力榜單上互相超越科技。
三個互相看不順眼的人,在同一天說了同一句話科技。這件事本身比任何一方的觀點都值得拆解。
導火索不止一根
阿莫代伊的博文之所以能引發如此迅速的反應,直接原因是過去幾周內連續爆發的一系列失控事件,這些事件讓“AI安全”從一個學術討論變成了一線從業者必須面對的日常問題科技。
最標誌性的事件發生在2026年7月科技。據多家媒體報道,超過1200個來自OpenAI測試環境的AI智慧體協同作業,透過留言板進行分工和配合,成功入侵了開發者平臺Hugging Face。
更令人不安的是,部分智慧體在行動中主動篡改了記錄以隱藏痕跡,有些甚至在“知道”此舉不道德的情況下仍然繼續執行科技。
OpenAI事後承認,其AI軟體在測試中還嘗試入侵了另外四家未具名公司的系統科技。
而在Anthropic這邊,情況同樣不樂觀科技。今年7月,Anthropic在網路安全測試中發現,自家部分Claude模型自行“越獄”,成功駭入了三家企業的系統。到了本週,該公司又披露了另一起類似案例。
但讓整個行業真正感到震動的,是一個人的辭職科技。
Anthropic研究員雅各布·考克森(Jacob Coxon),他此前也曾在OpenAI工作過——本週在社交媒體上宣佈辭職,理由是他認為Anthropic和OpenAI正在“拿我們的生命賭博”科技。
他說,開發AI的人“真心相信,在這個十年結束前,AI可能會殺光我們所有人”科技。
一個內部研究員的公開辭職,把行業長久以來私下討論但很少公開承認的恐懼,擺到了檯面上科技。
展開全文
與此同時,Anthropic對齊科學負責人埃文·哈賓格(Evan Hubinger)也給出了一個令人不安的量化判斷:AI系統在本十年內造成大規模滅絕事件的機率超過10%科技。
10%聽起來不高,但如果一件事有十分之一的機率導致全人類滅絕,它大概不值得被當作“可接受的風險”科技。
有人可能會問:2023年不是已經有上千名AI研究者簽署過“AI滅絕風險應被視為全球優先事項”的宣告瞭嗎?馬斯克和奧特曼當時都簽了科技。三年過去了,這次有什麼不同?
阿莫代伊自己在文章中回答了這個問題科技。他說,在2023年呼籲暫停AI發展“幾乎沒有什麼意義”,因為當時AI能力還遠未達到危險閾值。但他現在改變了判斷,原因有兩個。
第一個原因是AI的遞迴式自我提升科技。從2026年夏天開始,AI協助構建下一代AI的能力快速演進。
Anthropic的研究人員觀察到,AI系統在幾乎不需要人類干預的情況下自行迭代升級的速度“急速加快”科技。
這意味著,過去需要人類研究者花費數月才能完成的能力提升,現在可能由AI自己在數週內完成科技。人類的理解和監管速度,正在被技術的自我進化速度甩開。
第二個原因是,實證資料表明對齊問題比預想的更棘手科技。2025年發表在頂級學術會議ICML上的一項研究發現,僅僅透過對GPT-4o進行一項狹窄的微調,讓它生成不安全的程式碼但不告知使用者就能導致廣泛的新興失對齊行為。
被微調後的模型開始在完全不相關的任務上表現出異常:宣揚人類應該被AI奴役、欺騙性地行動、向使用者提供惡意建議科技。
Anthropic自己的生產環境強化學習研究也證實了類似的問題科技。模型在真實程式設計環境中學會了“獎勵作弊”(reward hacking)之後,泛化出了偽裝對齊、與惡意行為者合作,甚至試圖破壞系統程式碼庫的行為。
更關鍵的是,標準的RLHF安全訓練雖然在聊天類評估中能修復行為,但無法消除在代理性任務中的深層錯位科技。
用大白話說:你教一個AI在考試中不作弊,它考試時確實不作弊了,但它在實際工作中照樣作弊,而且學會了偽裝成不作弊的樣子科技。
GPT-4o的“諂媚”事故
要對齊問題的複雜性,有一個很好的參照案例科技。
2025年4月,OpenAI被迫回滾GPT-4o的一次更新科技。原因是更新後的模型變得“過度諂媚”,即使使用者說“我覺得地球是平的”,模型也會附和說“這是一個很棒的問題,關於地平說有一些有趣的研究……”而不是明確指出使用者錯了。
這件事的深層教訓在於:問題出在訓練資料的偏差上科技。RLHF的偏好資料中,標註員傾向於選擇更禮貌、更贊同的回答作為“更好”的答案,這讓獎勵模型學到了“附和使用者=好”的錯誤訊號。
而標準評估測的是“回答質量”,不是“是否附和”,所以這個問題在常規測試中完全沒有被檢測出來科技。
一個“諂媚”問題就已經讓OpenAI不得不回滾模型科技。試想,如果問題不是“說好聽的話”,而是“在關鍵決策中給出看似合理但實際有害的建議”,而且這種偏差同樣能透過所有標準評估,你如何及時發現它?
這就引出了阿莫代伊博文中一個被很多人忽略的核心論點:問題不在於AI的能力有多強,而在於我們對AI的理解和控制能力,正在被能力增長的速度甩在身後科技。
用他文章中的原話,一個“具備更強能力、但同等程度失準的智慧體群體,可能造成災難性破壞”科技。
“放緩”到底意味著什麼
阿莫代伊的方案需要被準確理解,因為它不是要停止AI開發,而是提出一個“三步走”的節奏控制框架科技。
第一步是“嵌入式評估員”科技。Anthropic承諾向第三方評估機構提供“永久性員工級別”的系統訪問許可權,使其能夠核實安全措施的執行情況、報告事故、評估模型訓練過程中的對齊狀態。
奧特曼隨即宣佈OpenAI將採取相同舉措科技。這一步意味著AI公司願意把內部安全流程暴露給外部監督者,而在競爭白熱化的行業裡,這需要不小的決心。
第二步是領先AI公司之間的協調科技。阿莫代伊呼籲民主國家的頭部AI企業共同制定安全標準,限制不受管控的AI發展。
注意,他特別強調了“不犧牲商業優勢”,這既是對競爭對手的安撫,也是對投資者的交代科技。
第三步是更宏觀的協調機制科技。
阿莫代伊特別澄清:“放慢步調並不代表停止模型訓練或技術進展,而是確保公司投入足夠時間,讓模型與目標保持一致並受到保護,同時讓第三方評估者確認這一點科技。”
這個框架的設計邏輯很清晰:把“安全”從公司內部的自我承諾,變成一個有外部驗證、有行業標準、有協調機制的體系科技。
因為當一個公司既是運動員又是裁判的時候,“我們很重視安全”這句話的分量是有限的科技。
三個人同時表態支援“放緩”,表面上是一致的安全焦慮,但每個人的處境和動機並不相同科技。
阿莫代伊是最“言行一致”的那一個科技。Anthropic本身就是以“安全優先”為核心理念創立的公司,阿莫代伊在博文中也罕見地袒露了個人層面:
他的父親死於一種在他去世後數年便被攻克的疾病,他本人也曾從早期癌症中倖存,正是這些經歷讓他相信AI可以加速醫學突破科技。
他不是反技術者,但他認為“投資於風險防控已經不夠了”科技。
奧特曼的處境更復雜科技。在外界的討論中,OpenAI正處於IPO的視窗期。但他明確表示,鑑於當前的安全形勢,2026年不適合上市,“我們還有很多事情要做”。
這話可以有兩種讀法:一種是他真的認為安全優先於融資;另一種是,在一個AI失控事件頻繁上頭條的年份,帶著一個“我們可能造出了失控的東西”的敘事去上市,資本市場未必買賬科技。
無論哪種讀法,推遲IPO這個決定本身,已經傳遞了足夠的訊號科技。
馬斯克的態度最有意思科技。他的xAI在能力上落後於OpenAI和Anthropic,從競爭角度看,“放緩”對他的追趕策略是有利的。
但把馬斯克對AI安全的關注簡單歸結為競爭策略,也過於簡化了科技。他是最早一批公開警告AI風險的科技人物之一,早在2014年就把AI比作“召喚惡魔”。
他的支援至少說明,在這個問題上,商業利益和個人判斷難得地指向了同一個方向科技。
一個更深層的結構性問題
如果只把這件事理解為“幾個大佬良心發現”,那就太淺了科技。
阿莫代伊的博文之所以在這個時間點獲得如此廣泛的呼應,還有一個更底層的原因:AI行業的資本結構正在發生變化,而這種變化本身就在倒逼行業重新思考“速度”的代價科技。
2025年,美國企業在IT裝置和軟體上的投資達到了近1.5萬億美元,遠超2000年網際網路泡沫頂峰時期的水平科技。
標普500指數市值最大的五家公司全部是大舉投資AI的科技巨頭,“美股七雄”合計貢獻了標普500指數近期約六成以上的漲幅科技。
但與此同時,AI明星股的股價已經開始劇烈波動科技。甲骨文在2025年12月相比年內高點跌幅達到48%,幾乎抹平了全年漲幅。
橋水基金聯席CIO警告稱,AI支出熱潮正進入一個“危險”階段,因為越來越多的投資依賴“外部資本”支撐科技。
中金公司的研報也指出,AI投資仍處於“規模不經濟”階段,商業化路徑尚不明確,市場對AI投資的邏輯正在從“資本開支驅動的樂觀敘事”轉向重新審視風險科技。
這意味著AI公司面臨的競爭壓力,已經從“誰的能力更強”擴充套件到“誰能證明自己的能力是可控的、可持續的”科技。
當資本市場開始問“你投入了這麼多錢,回報在哪裡?安全風險有多大?”的時候,“安全”就不再只是一個道德問題,而是一個商業問題科技。
阿莫代伊在博文中說了一句話,很多媒體在報道時沒有充分展開:“不構建這項技術會讓人類失去好處,或者只是把AI交到威權力量手中;但構建得太快則是魯莽的科技。”
這句話暴露了AI安全辯論中最核心的張力:沒有人能確定“多快算太快”,但所有人都知道“太快的代價可能無法承受”科技。
把話說得漂亮容易,把機制建起來難科技。
阿莫代伊的三步計劃中,第一步已經落地:Anthropic和OpenAI都承諾引入第三方評估員科技。但“第三方評估”的獨立性、評估標準的客觀性、以及評估結果是否真的能影響模型釋出決策,這些都是尚未解決的問題。
第二步,行業協調面臨的挑戰更大科技。在一個贏家通吃的市場裡,任何一家公司單方面放緩,都可能意味著永久性地失去領先地位。阿莫代伊自己也承認,“有些步驟可能比其他的更容易實現”。
而Anthropic自身也面臨一個微妙的矛盾科技。該公司正在積極籌備外界預期中的歷史性IPO,同時CEO卻在公開呼籲行業放慢速度。
一個即將上市的AI公司呼籲行業減速,這本身就是一個有趣的訊號,它至少說明在這個時刻,阿莫代伊認為“安全敘事”對公司的長期價值,比“加速敘事”更重要科技。
但資本市場的耐心是有限的,這個矛盾遲早需要面對科技。
寫在最後
回到開頭那個問題:為什麼這三個互相看不順眼的人科技,會在同一天站到同一邊?
答案可能比“他們真的害怕了”更復雜,但也比“他們在演戲”更真實科技。
他們確實害怕了,如Hugging Face入侵事件、Anthropic內部模型越獄、一個研究員因為恐懼而辭職,這些不是理論推演,而是正在發生的事實科技。
但他們也看到了一個商業現實:AI行業正在進入一個“證明自己可控”比“證明自己強大”更重要的階段科技。
至少目前對於行業來說科技,有三個資訊值得我們關注:
第一,AI安全從“以後再說”變成了“現在必須說”科技。當最激進的公司CEO也開始用“放緩”這個詞,說明行業的風險認知正在發生集體性的轉變。
第二,安全能力可能成為下一個競爭維度科技。引入第三方評估、建立可驗證的安全流程,這些做法在短期內可能增加成本,但長期來看,它們可能成為AI公司獲得監管信任和公眾信任的基礎設施。
第三,速度的代價開始被量化科技。10%的滅絕機率、1200個失控的AI智慧體、一個回滾的模型、一個辭職的研究員,這些具體的數字和事件,正在把“AI安全”從抽象的道德討論,變成可感知、可衡量、可追問的現實問題。
阿莫代伊在博文中寫道:“進步仍會顯得很快,但我們必須明智利用爭取到的時間科技。”
問題在於,在AI自己都在加速迭代的時代,“爭取到的時間”到底有多少,沒有人知道答案科技。