模擬計算機可以將 AI 訓練速度提高 1000 倍並降低能耗

快速求解用於訓練人工智能模型的關鍵方程的模擬計算機可以為人工智能熱潮導致的數據中心功耗不斷增長提供潛在的解決方案。

筆記本電腦、智能手機和其他日常設備被稱為數字計算機，因為它們將數據存儲和處理為二進制數字（0 或 1）序列，並且可以編程來執行一系列任務。相比之下，模擬計算機通常被設計為僅執行一項特定任務。它們使用可以連續變化的量（例如電阻）來存儲和處理數據，而不是離散的 0 和 1。

模擬計算機在速度和能效方面表現出色，但它們以前缺乏數字計算機的精度。現在， 孫忠 來自中國北京大學的博士和他的同事創建了一對模擬芯片，它們協同工作以精確求解矩陣方程——這是通過電信網絡傳輸數據、運行大型科學模擬或訓練人工智能模型的基本部分。

第一個芯片非常快速地產生低精度矩陣解，第二個芯片運行迭代細化算法來分析第一個芯片的錯誤率，從而提高精度。 Sun表示，第一個芯片產生的結果的錯誤率約為1%，但第二個芯片運行三次後，錯誤率降至0.0000001%，他說這與標準數字計算的精度相同。

到目前為止，研究人員已經創建了可以解決16×16矩陣的芯片或具有256個變量的芯片，這可以用於解決一些小問題。但 Sun 承認，解決當今大型人工智能模型中使用的問題將需要更大的電路，可能是數百萬個。

但模擬芯片相對於數字芯片的優勢之一是求解大型矩陣不需要更多時間，而數字芯片隨著矩陣大小的增加而難度呈指數級增長。這意味著32 x 32矩陣芯片的吞吐量（每秒處理的數據量）將超過Nvidia的H100 GPU，後者是當今用於訓練人工智能的高端芯片之一。

Sun表示，從理論上講，進一步擴展可以使GPU等數字芯片的吞吐量提高1000倍，同時功耗降低100倍。但他很快指出，現實世界的問題可能超出其設計的極其有限的能力，從而導致較小的結果。

“這只是速度比較，但對於實際應用，問題可能有所不同，”Sun 說。 “我們的芯片只能執行矩陣計算。如果矩陣計算佔據了計算問題的大部分，這代表著解決問題的加速非常顯著，但如果不是，這將是有限的加速。”

Sun 表示，正因為如此，最有可能的結果是創建混合芯片，其中 GPU 包含多個模擬電路，可以解決問題的非常具體的部分 – 但即便如此，這也可能需要幾年的時間。

詹姆斯·米倫 倫敦國王學院表示，矩陣計算是訓練人工智能模型的關鍵過程，而模擬計算提供了潛在的推動力。

“現代世界是建立在數字計算機的基礎上的。這些令人難以置信的機器是通用計算機，這意味著它們可以計算一切，但並非一切都必須能夠高效、快速地計算，”米倫說。 “模擬計算機是針對特定任務量身定制的，因此可以非常快速和高效。這項工作使用模擬計算芯片來加速稱為矩陣求逆的過程，這是訓練某些人工智能模型的關鍵過程。更有效地做到這一點可以幫助減少與我們對人工智能日益增長的依賴相關的巨大能源需求。”