Dario Amodei 談人工智能的可怕危險以及 Anthropic 阻止它們的努力

Anthropic 以其嚴格的安全標準而聞名，它利用這些標準將自己與 OpenAI 和 xAI 等競爭對手區分開來。這些強硬政策包括防止用戶轉向克勞德生產生物武器的護欄——首席執行官達里奧·阿莫迪在一份新的 20,000 字報告中將這一威脅描述為人工智能最緊迫的風險之一。

阿莫迪在帖子中寫道：“人類需要醒來，這篇文章是一次嘗試——可能是徒勞的，但值得一試——喚醒人們。”他將這篇文章定位為 2024 年一篇描述人工智能好處的文章的更為憤世嫉俗的後續文章。

阿莫迪最大的擔憂之一是，人工智能可能會讓大量人群獲得製造和使用危險工具的指導，而這些知識傳統上僅限於一小群訓練有素的專家。阿莫迪寫道：“我擔心每個人口袋裡的天才都可以消除這一障礙，從本質上使每個人都成為博士病毒學家，可以一步步遵循設計、合成和釋放生物武器的過程。”

為了應對這一風險，Anthropic 重點關注克勞德憲法等戰略，這是一套指導其教育模式的原則和價值觀。阻止生物、化學、核武器或放射性武器的援助被納入憲法的“硬限制”中，即無論用戶指示如何，克勞德都不得採取行動。

然而，越獄人工智能模型的可能性意味著 Anthropic 需要“第二道防線”，Amodei 說。因此，該公司在 2025 年中期開始開發額外的保障措施，旨在檢測和阻止任何與生物武器相關的影響。 “這些分類器顯著增加了我們模型的服務成本（在某些模型中，接近總推理成本的 5%），從而限制了我們的利潤，但我們相信使用它們是正確的做法，”他指出。

除了敦促其他人工智能公司採取類似措施外，阿莫迪還呼籲各國政府出台立法，限制人工智能驅動的生物武器的風險。他建議各國投資於快速開發疫苗和改進個人防護設備等防禦措施，並補充說，Anthropic 很“興奮”與生物技術和製藥公司合作開展這些工作。

然而，Anthropic 的聲譽不僅僅局限於安全領域。這家初創公司由 Amodei 於 2021 年共同創立，目前估值接近 3500 億美元，Claude 的產品（尤其是其編碼代理）得到了廣泛採用。據 The Information 報導，其 2025 年收入預計將達到 45 億美元，比 2024 年增長近 12 倍，但由於推理成本（包括實施保障措施）較高，其 40% 的毛利率低於預期。

阿莫迪認為，人工智能訓練和改進的快速發展正在推動這些迅速出現的風險。他預計，未來一兩年內將出現與諾貝爾獎獲得者同等能力的模特。他說，其他風險包括人工智能模型可能被黑客攻擊、被政府武器化或擾亂勞動力市場並將經濟權力集中在少數人手中。

阿莫代補充說，有一些方法可以減緩增長。例如，限制對中國的芯片銷售將為民主國家提供緩衝，以更謹慎地開發技術，特別是在加強監管的情況下。但涉及的巨額資金使其難以限制。 “這就是問題所在：人工智能是如此強大，如此閃亮的獎品，人類文明很難對其施加任何限制，”他說。