誰能警告我們世界末日即將來臨？

並不是每個人都想統治世界，但最近似乎每個人都想警告世界可能正在終結。

週二，《原子科學家公報》公佈了年度末日時鐘重置，旨在直觀地展示該機構專家認為世界距離末日有多近。指針定在距離午夜還有 85 秒，比 2025 年快了 4 秒，也是有史以來最接近 12 點的一次，反映了從核緊張局勢升級、氣候變化到威權主義崛起等一系列生存風險。

前一天，Anthropic 首席執行官 Dario Amodei（也可能是人工智能的哲學家之王）發表了一篇 19,000 字的文章，題為“技術的青春期”。他的看法是：“人類即將獲得幾乎難以想像的力量，但目前還不清楚我們的社會、政治和技術體係是否具備成熟的能力來使用它。”

正如阿莫代所說，如果我們未能應對這一“嚴峻的文化挑戰”，世界很可能會走向午夜黑色。 （披露：Future Perfect 的部分資金來自 BEMC 基金會，該基金會的主要資助者也是 Anthropic 的早期投資者。他們對我們的內容沒有任何編輯意見。）

正如我之前所說，現在是蕭條時期的繁榮時期。但是，看看這兩種截然不同的傳達存在風險的嘗試——一個是 20 世紀中葉的產物，另一個是我們自己不確定時刻的產物——提出了一個問題。我們應該聽誰的？那些在門外喊叫的先知？還是同時管理聖殿的大祭司？

世界末日時鐘已經伴隨我們太久了——它創建於 1947 年，距離廣島第一顆核武器被焚燒僅兩年——以至於我們很容易忘記它是多麼激進。不僅僅是時鐘本身（它可能是 20 世紀最具標誌性和最有效的象徵之一），還有製造它的人們。

戰後不久，J·羅伯特·奧本海默等科學家創立了《原子科學家公報》，正是這些科學家製造了現在令人恐懼的原子彈。這使得他們的警告具有無與倫比的道德清晰度。在機構信任度空前高漲的時刻，這些人比任何人都更了解炸彈的工作原理，絕望地告訴公眾我們正走在核毀滅的道路上。

《公報》的科學家們受益於現實。繼廣島和長崎之後，沒有人能夠質疑這些炸彈的可怕威力。正如我的同事喬什·基廷 (Josh Keating) 本週早些時候所寫，20 世紀 50 年代末，世界各地每年都會進行數十次核試驗。核武器，尤其是在當時，帶來了明顯的、前所未有的生存風險，這一點幾乎是無可爭議的，即使對於建造這些武庫的政治家和將軍來說也是如此。

但正是這些賦予《公報》科學家們道德信譽的東西——他們願意與他們曾經服務的政府決裂——卻讓他們失去了結束這些危險所需的一件事：權力。

儘管末日時鐘作為一種象徵仍然令人印象深刻，但它本質上是一種通信設備，由那些對自己測量的事物沒有發言權的人操作。這是沒有執行權的預言性演講。當《公報》像週二那樣警告稱，《新削減戰略武器條約》即將到期或核大國正在對其核武庫進行現代化改造時，他對此無能為力，只能希望政策制定者和公眾能夠傾聽。

這些警告越普遍，就越難被聽到。

自從冷戰結束使核戰爭從議程上消失以來（至少暫時是這樣），世界末日時鐘背後的計算已經擴展到包括氣候變化、生物安全、美國公共衛生基礎設施的惡化、“鏡像生命”等新技術危險、人工智能和極權主義。所有這些挑戰都是真實的，並且每一個都以自己的方式威脅著讓這個星球上的生活變得更糟。但它們混合在一起，就混淆了時鐘所承諾的可怕的準確性。曾經看似一個時鐘的東西現在被揭露只是一種猜測，只是無數其他警告中的又一個警告。

阿莫代甚至比大多數人工智能領導者更經常被拿來與奧本海默進行比較。

阿莫代首先是一位物理學家和科學家。阿莫迪在“尺度法則”方面做了重要工作，幫助解鎖了強大的人工智能，就像奧本海默所做的批判性研究為炸彈鋪平了道路一樣。與奧本海默的真正才能在於運行曼哈頓計劃所需的組織能力一樣，阿莫迪也證明了自己作為企業領導者的能力。

和奧本海默一樣——至少在戰後——阿莫迪並不羞於利用自己的公共地位，毫不含糊地警告他幫助創造的技術。如果奧本海默能夠使用現代博客工具，我向你保證他會寫出類似“技術青春期”的東西，儘管梵文多一點。

這些數字之間的差異就是控制差異。奧本海默和他的科學家同事幾乎立即失去了政府和軍方對其創造物的控制，到 1954 年，奧本海默本人也失去了安全許可。從那時起，他和他的同事們主要在國外發聲。

相比之下，Amodei 作為 Anthropic 的首席執行官發表講話，這家人工智能公司目前在將人工智能推向極限方面可能比任何其他公司都做得更多。當他將人工智能描繪成“數據中心天才之地”的變革性願景，或者解決從人工智能創造的生物武器到技術驅動的大規模失業和財富集中等災難場景時，他是在權力的殿堂裡說話的。

就好像製定核戰爭計劃的將軍們也在處理世界末日時鐘上的滴答聲。 （我說“幾乎”是因為一個關鍵的區別——核武器只會帶來破壞，而人工智能則帶來巨大的好處和可怕的風險。這就是為什麼你可能需要 19,000 字來表達你的想法。）

所有這些都留下了一個問題：阿莫迪擁有如此大的影響人工智能方向的能力，這一事實是否使他的警告比國外的人（例如《公報》的科學家）更有可信度，或者更低。

Bulletin 模型具有完整性，但相關性越來越有限，尤其是在人工智能方面。原子科學家在工作的那一刻就失去了對核武器的控制。阿莫代並沒有失去對人工智能的控制——他的公司的發布決策仍然非常重要。這使得《公報》的弱勢地位變得不那麼可行。你無法從純粹獨立的立場有效地警告人工智能風險，因為擁有最好技術知識的人大部分都在構建人工智能的公司內部。

但阿莫代的模式也有其自身的問題：利益衝突是結構性的且不可避免。

他發出的每一個警告都伴隨著“但我們必須繼續建設”。他的文章明確指出，停止或大幅減緩人工智能的發展“從根本上來說是站不住腳的”——如果人類不創造強大的人工智能，那麼更糟糕的人就會創造出來。這可能是真的。這甚至可能是為什麼有安全意識的公司應該留在遊戲中的最好論據。但也正是這個論點讓他能夠繼續做他正在做的事情，並帶來巨大的好處。

這就是阿莫迪自己描述的陷阱：“人工智能可以賺很多錢——實際上每年數万億美元——即使是最簡單的措施也很難克服人工智能固有的政治經濟。”

世界末日時鐘是為這樣一個世界而設計的，在這個世界裡，科學家可以走出構成生存威脅的機構，並以獨立的權威發言。我們可能不再生活在這個世界上。問題是我們要構建什麼來取代它——以及我們還剩下多少時間來做這件事。