為了準備教學，請閱讀一篇關於人工智慧研究的優秀文章： 慘痛的教訓, 理查德·薩頓 (Richard Sutton) 在 2019 年寫道。我想知道他認為什麼是先行者，以及薩頓是否認為有什麼問題。最後，我將討論其經濟影響。
薩頓從數十年的人工智慧歷史中汲取教訓，認為研究人員已經學會了「痛苦」真相。研究人員通常認為電腦將依靠人類獨特的專業知識在智慧方面取得新的進步。最近的歷史表明，隨著計算擴展的方法可以依靠人類的專業知識來執行。例如，在電腦國際象棋中，對專用硬體的強力研究戰勝了基於科學的方法。薩頓警告研究人員不要接受這樣的教訓：建立在知識的基礎上讓人感到滿足，但真正的突破來自於計算的無情規模。在人工智慧中，擴展意味著製作更大的模型並將其轉化為更多的計算數據。
阿馬拉的教訓與其說是關於任何一種演算法，不如說是關於智力的謙遜：人工智慧的進步來自於接受一般學習、堅持不懈地攀登、完善我們對硬編碼智慧的最大努力。薩頓是對或錯並不重要，因為我們還沒有處於人工智慧爆炸的末期，也沒有到上訴的時候。 」縮放時代作者：德瓦克什·帕特爾。
EconTalk 嘉賓猜測人工智慧會拯救世界還是殺死我們所有人。請參閱以下內容：
這種極端的預測假設人工智慧有能力進步。 儘管正如 Sutton 在 2019 年所寫的那樣，人工智慧正在迅速發展，但沒有任何自然法則（據我們所知）堅持認為它會繼續改進。有時他們甚至說他們看到了人工智慧匹配或設計的能力 幻覺持續存在 即使在高級型號中也是如此。
如果規模確實是變得更加智慧的途徑，那麼如果我們為系統添加更多硬件，我們可以預期人工智慧將超出預期。這個假設得到證明：美國可以投資私人人工智慧 每年超過 1000 億美元有史以來最大的技術賭注之一。讓我們根據最近的工作來評估薩頓的論文。
我們可以用三點來證明薩頓關於量表的正確性。首先，遊戲的AI提供了自然的體驗。 AlphaZero 學習國際象棋並自動完成遊戲，無需人工幹預或建議。 AlphaZero 領先先前在專業領域建立的系統。正如薩頓所預測的那樣，成功取決於規模和計算。
其次，自然語言處理（NLP）是人工智慧的一個分支，專注於使電腦能夠理解和再現人類語言，也顯示出相同的模式。以前，NLP 系統強調寬鬆的規則和知情的符號結構。 OpenAI 的 GPT-3 及其後續產品是基於經過大量資料訓練的通用架構。製作技巧比建築技巧更具藝術性。
第三個例子是電腦視覺。器官管道（程式設計師設計手動演算法來檢測邊緣和形狀的技術）的一個功能曾經可能是大規模的神經捲積網路（一種鬆散地受視覺皮層啟發的人工智慧架構，旨在根據數據自動創建視覺模式）。隨著數據集和計算量的增加，它得到了迅速的改進。
薩頓的論點是關於擴展方法，但在實踐中，只有當資本投資降低了計算限制時，可擴展性才變得可見。
人工智慧的快速發展不僅代表了技術的可行性，也代表了前所未有的財務資源的可用性。 使用 ChatGPT 製作購物清單的典型人不知道「縮放」一詞的意思。 一個原因可以 因為，對進步的估計與其說是對技術技術錯誤的估計，不如說是對投入其中的資金數量的估計是錯誤的。
這就是曼哈頓計畫。人們懷疑曼哈頓計畫並不是因為它違反了物理學，而是因為它看起來太昂貴了。尼爾斯·玻爾說他想「把整個國家變成工廠」。但我們做到了。我們再做一次。我們正在把這個國家變成人工智慧工廠。如果沒有任何投資，他會走得更慢。
但如果我們接近權力階梯或身體能力的極限，生存主義者和烏托邦都不會正常發生。這對我們度過 2026 年及以後來說是一個苦樂參半的教訓嗎？這些東西今天是休閒，明天是生存風險。
最近的經濟研究提供了一條線索。 2026年1月，財經論文Joshua Gans 開發一個模型 「鋸齒狀人工智慧」。甘斯觀察到，生成式人工智慧系統在處理看似「附近」的任務時是不平衡的：它們可以在一個提示上表現出色，而在另一個提示上則自信地出錯，只需在措辭或上下文上做出微小的改變。任何使用 ChatGPT 來幫助完成項目，然後看著它產生幻覺的人都經歷過這種殘酷的經歷。
甘斯的分析在經濟上之所以有趣，是因為他對比例定律的處理。在他的模型中，增加規模（透過知識領域已知點的密度）可以縮小平均差距，並以幾乎線性的方式提高平均品質。這對薩頓的論文來說是個好消息：更多的計算意味著更好的平均表現。然而，頑固和錯誤依然存在。它提高了平均性能水平，而無需隱身或長尾。
Gans 將人工智慧的採用視為資訊問題：使用者關心網站穩定性（人工智慧將幫助 我 什麼時候 我的 商業？ ），但他們通常只遵守粗略的全球品質標準（天蠍座證明）。這種不匹配造成了真正的經濟摩擦。一名法律助理信任人工智慧，該人工智慧在 95% 的合約審查中表現出色，卻因看似自訂條款中的自信錯誤答案而措手不及。甘斯指出，統計學家所說的「檢查悖論」會放大專家的錯誤。用戶開始在他們最需要幫助的地方犯錯。
甘斯的 2026 年論文並沒有直接引用或反駁薩頓，但可以被解讀為探索一種結構性限制，即使遵循苦讀的道路，這種限制仍然存在。規模是有效的，但規模的經濟效益可能會因規模不關心的持續不可預測性而受到部分阻礙。
這種限制對於企業如何採用人工智慧具有實際影響：他們不能簡單地依賴能測試，而必須投資於人工監督和領域驗證測試。這也意味著AI不會到達人類活動的終點。
薩頓的方向是對的，但我們不應該斷章取義。僅靠規模是不夠的，僅僅透過增加規模，我們不太可能達到超級智慧。該模型仍然需要人類的智慧和結構才能對公司最有用。 RLHF（人類回饋強化學習）是一種訓練技術，人類評估者使用 AI 輸出來幫助模型學習哪些反應是有用且安全的，是一種將人類價值注入模型的藥物。早期的 GPT-4 架構並不是透過簡單地添加更多資料而建構的。
而且，我們不可能永遠「向上爬」。能源成本和數據限制是現實世界的限制。因此，如果人工智慧要變得更好，它需要效率和演算法智能，而不僅僅是蠻力。人類的麻木不仁已經降到零了。從直接轉錄情報到發展、控制和控制訓練課程。
總的來說，讓我們給予薩頓應有的信任。攀爬工作。該規模的有效性取決於人類對這些系統如何建構和開發的感覺。經濟學家認為這是一種熟悉的模式：資本和勞動力仍然是互補的，即使資本是用 GPU 來衡量的，而勞動力則涉及設計任務的損失。
Gans 的工作增加了一個重要的經濟特徵：隨著人工智慧平均性能的擴展，該性能的粗糙性、不可預測性為採用者帶來了真正的成本。企業和個人必須在一個人工智慧能力更強的同時又以難以預測的方式不斷搖擺不定的環境中航行。人工智慧投資的經濟回報不僅取決於原始能力，還取決於發展機構和管理複雜性的補充人類專業知識。
慘痛的教訓可能是規模龐大，但甜蜜的推論是，人才對於未來的進步仍然至關重要。
(1) 我計算在人工智慧研究中，它是安裝或運行模型的運算能力的總和（通常以浮點運算（FLOP）來衡量）。
