為人工智能升級而進行的鬥爭引起了GPU基礎設施的歷史投資。上級有望通過 3000億美元的AI材料 僅在2025年，所有行業的企業都建立了自己的GPU集群以保持步伐。這可能是現代歷史上公司資源最大的重新分配，但在碟片的標題下是一個更安靜的故事。根據有關2024年規模基礎設施的報告 材料營養不良超過75％的生物在使用GPU的70％以下，即使在切割時期也是如此。浪費計算已成為對AI的沉默稅，這種無效性增加了成本並減慢創新，從而為需要推動購買的公司造成了競爭不利。
在工業時代的思想中，主要原因的痕跡適用於信息時代的挑戰。傳統的開發人員將GPU委託工作，並將其鎖定直到完成 – 即使工作負載轉移到CPU較重的階段。實際上，GPU在大面積地區不活躍，成本不斷增加。研究表明，標準AI工作流量僅在CPU上花費在運行時間的30％至50％之間，這意味著在此期間，確切的GPU不會貢獻任何內容。
考慮財務：單個NVIDIA H100 GPU的成本超過40,000美元。當靜態分配允許這些資源抓住甚至有25％的時間時，組織本質上缺少每年10,000美元的無用能力。擴展整個人工智能業務和廢物的發展，以八個數字迅速達到。
GPU低估會導致淨成本無效的問題。當確切的基礎架構處於不活動狀態時，研究團隊無法嘗試新模型，產品組正在努力快速重複AI功能，並在更有效的對手中消除了競爭優勢。然後，這些組織超過了GPU，以覆蓋高層負載，在獲取材料中創建設備競賽，而現有資源仍被低估。結果是人工稀有性會耗盡預算並減慢進展。
由於環境成本也在增加，股票超出了對可持續性的全球關注。顯示AI基礎架構 加倍消耗 從2024年開始，到2030年達到了世界電力的3％。不最大化GPU績效的公司將面臨增加的賬單，並增加監管機構控制和感興趣的當事方對可衡量績效改善的要求。
一種稱為新的編排工具 它促進了AI 提供前進的方向。這些系統實時監視工作負載 重定向GPU資源 符合主動需求。在其他尾巴工作中，在CPU較重的階段，GPU不是閒置的，而是重塑了。
最初的發展證明了這種方法的變革潛力，結果令人印象深刻。在一個開發中，富士通的AI計算機經紀人（ACB）增加了270％的蛋白質折疊模擬的運輸，使研究人員可以在同一材料中處理幾乎三倍的序列。在另一個公共基礎架構中執行多種大型語言模型的企業使用ACB鞏固工作負載，從而可以在所有模型上得出平穩的結論，同時降低基礎架構的成本。
這些利潤不需要新的硬件購買或廣泛的代碼代碼，而只是可以將現有基礎架構轉換為功率乘法器的更明智的編排。經紀人被納入現有的AI管道中，並在後台重新分配毛孔，從而使GPU的效率更低。
性能可節省成本。可以在相同基礎架構中進行更多實驗的團隊重複速度更快，更早地接近知識並在靜態分配模型中釋放對手面前的產品。第一個採用者報告了效率在150％至300％之間的利潤，隨著實驗速度的加速，該化合物隨著時間的推移而改善。這意味著，曾經考慮GPU作為技術技術人員有效性的組織現在具有監管要求，資本市場壓力和競爭性動態，這些動態是強制性優化而不是可選的。
最初是針對技術促進公司的運營優化的事物，正迅速成為所有行業的戰略檢查，其中幾個特定趨勢引起了這一加速：
- 監管壓力。歐盟人工聯盟的規則越來越多 需要參考報告使使用GPU成為合規性的想法，而不僅僅是優化操作。
- 資本限制。通過按下CFO更仔細地檢查基礎設施的報銷，提高利率使無效的資本分配更加昂貴。
- 人才競賽。領先的AI研究人員更喜歡為實驗提供最大計算訪問的組織，從而使資源的有效分配成為招聘的優勢。
- 環境命令。公司生存能力的承諾需要可衡量的改進，從而使GPU優化在戰略上必要，並且不經常有用。
歷史表明，當績效工具成為標準時，首先採用者記錄了超大的好處。換句話說：通過基礎設施的有效性，獲得競爭優勢的機會之窗仍然開放，但不會無限期地保持。採用當今最聰明的編排的公司將建立更快，更簡單，更具競爭力的AI計劃，而其他公司仍然被困在過時的模型中。靜態思維會產生靜態結果，而動態思維則解鎖了動態優勢。同樣，在傳統的雲計算數據庫轉移的方式中，AI基礎架構競賽將被接近GPU的組織而不是穩定的資產而不是穩定的資源而贏得，而是要連續優化的動態資源。
這個3000億美元的問題不是有多少組織投資於AI基礎架構。他們真正從已經建立的物品中出口了多少價值，以及如果他們足夠快地移動到競爭對手之前進行優化。
