理論上，能夠創造更好的人工智慧的人工智慧可以繼續改進。
Just_Super/蓋蒂圖片社
世界領先的人工智慧公司之一呼籲業界暫停人工智慧開發，因為最新模型可能會達到一個臨界點，它們可能會重新設計自己，變得更加強大，並最終逃脫我們的控制。至少頭條新聞是這麼說的。
事實上，在 Anthropic 聯合創始人 Jack Clarke 和 The Anthropic Institute 智庫負責人 Marina Favaro 發表了一篇長篇部落格文章，在該公司在證券交易所上市、傳聞將進行 1 兆美元的首次公開募股 (IPO) 之前不久，宣傳他們的 Claude 模型的功能。
讓我們暫時忽略房間裡巨大的財務大象，看看技術公告。人工智慧能夠創造出更強大的自身版本，進而能夠執行同樣的任務，這是一個明顯的遊戲規則改變者，但這也不是一個新想法。儘管 Anthropic 現在稱之為“遞歸自我完善”，但幾十年來人們一直在談論“奇點”作為這種情況發生的時刻。
目前還不清楚我們是否真的比以前更接近這一點。誠然，當今人工智慧研究的步伐令人震驚，但在過去，我們曾經歷過突飛猛進的進步，然後是停滯期，當時的進步就像投資一樣難以實現——即所謂的人工智慧冬天。甚至法瓦羅和克拉克也在他們的部落格中承認，遞歸自我改進並非不可避免。
我最近寫了一篇關於開源開發人員努力應對人工智慧生成的大量垃圾程式碼的文章，這些程式碼要么不起作用，要么正在將專案引向核心團隊不想要的方向。在其他地方，在 Instagram 上，一些帳戶透過展示人工智慧如何在簡單任務上失敗而吸引了大量觀眾。在典型的影片中，用戶要求 ChatGPT 協商一條麵包的最高價格為 5 美元，之後人工智慧自信地計算出一筆 400 美元的交易。它看起來不像是一個幾乎準備好孕育聰明後代的工具。
這並不意味著人工智慧毫無用處，也不代表我是人工智慧懷疑論者。幾年來，我一直坐在兩張凳子之間，與認知失調作鬥爭。我同時對相對簡單的數學、大量訓練資料和大量電腦晶片的能力感到敬畏，但也完全懷疑它能夠可靠地執行我日常工作中哪怕是最小的部分。至少現在是這樣。
人工智慧必須做兩件事才能開始滑向奇點。首先，相對簡單的工程問題：是否可以調整程式碼，使模型學習得更快，更有效地使用更少的資源，從而推動近期進展的規模能夠繼續成長？其次，偉大的想法：他能否提出一個新的架構或策略，從根本上提升一個檔次，改變範式，讓我們擺脫更多的模型？
Anthropic認為，人類在這兩個領域的作用都在萎縮，並且可能存在一個轉折點，人工智慧可以比人類更好地進行規劃和編碼，到那時人類就會撤退。但沒有人真正確定人工智慧是否可以繼續改進它的方式，我們是否會達到效能上限，是否有辦法克服它，或者我們或人工智慧是否能夠找到它。人工智慧研究中的未知數比已知數多得多。
這讓我們回到了IPO。 AI產業人士的樂觀是有充分理由的：首先，他們是選擇者，他們的工作和投資也面臨風險。現在，Anthropic、OpenAI 和 SpaceX（最近收購了馬斯克的 xAI）等公司正在尋求籌集比以往更多的公共資金。這就是炒作可以讓事情更上一層樓的地方，即使是從這個高點來看。如果以過去幾年的人工智慧發展為例，「喔不，我們正在建造一台可以奴役人類並給我們金錢的機器」似乎是一個有效的行銷訊息。
最後，值得注意的是，Anthropic 甚至沒有呼籲暫停研究。它只是說，如果每個人都同時這樣做，那麼放慢速度將是一件好事，並且「壞人」無法潛入。讓大型人工智慧公司同意這一點（涉及數萬億美元）似乎是最不可能的未來。
主題：
