人工智能的模型學會分開任務，減少等待時間的複雜技巧

由於大型語言模型（LLM）（例如ChatGpt）繼續提高，因此用戶期望繼續增長，包括他們能夠響應我們日益複雜的線索的速度，這些線索需要答案，以解決恆定的問題和任務。

常規的LLM基於“自動 – 驗解碼”的概念，其中序列中的每個元素（“令牌”）都是根據先前生成的輸出進行預測的。這種方法不可避免地會導致更複雜的提示的延遲，儘管研究人員試圖使用更有效地使用多核計算機芯片並行性的項目來軟化IT。例如，投機解碼使用快速草稿模型提供令牌，然後將其平行於較慢的高質量模型。

取而代之的是，較新的方法使用“語義獨立性”，識別句法模式，例如子彈並並行擴展。但是他們依靠手工製作的句法啟發式，當答案與預期格式偏離時，它經常失敗。

這些缺點激發了計算機科學和人工智能MIT（CSIL）和Google實驗室的研究人員，並使用該方法基於培訓來平行解碼。他們的方法不依靠固定的規則，而是教LLM識別語義獨立性，即並行識別和解碼語義獨立的文本片段。

結果：麵食。

特別是，csail命令（麵食）的並行結構允許LLM並行生成文本，從而大大加速響應時間。與以前基於嚴格的手動規則來識別獨立文本細分的嘗試不同，Pasta教LLMS在自己的答案中理解並表達並行化的這些可能性。

這種方法稱為科學異步解碼，有助於轉向教學模型，以組織自己的平行解碼策略。有結論 出版 在 arxiv 預印服務器。

“傳統的LLM就像一次廚師一次創造一步，”有關該項目的新文章的主要作者Tien Jin解釋說，該項目是在國際附加費會議上提出的（ICML 2025）在溫哥華。 “糊狀物教會廚師識別何時可以準備攀岩的不同部分，例如，將成分的子集混合在一起，而烤箱先前是先前打算的，這會導致整個過程更快。”

這項創新應對LLM輸出中基本狹窄的位置，在該輸出中，解碼的一致性通常會導致用戶使用的硬件不足和長期等待時間。當前的LLM可能需要幾秒鐘甚至幾分鐘才能滿足用戶請求，這是麵食尋求解決的延遲問題。

糊狀物基於兩個主要組成部分：麵食 – 朗格，一種註釋語言，允許具有其答案的語義獨立部分的LLM，以及在這些標籤上作用於這些標籤以在輸出期間組織並行解碼的解釋器。正如Jin所解釋的那樣，您可以將意大利麵條視為LLM為自己寫的一組指示，並指出他可以同時工作的結論部分。然後，翻譯人員讀取這些指令並控制這些部分的平行生成。

團隊教LLMS使用兩個階段的精確配置過程來生成意大利面的這些年金。該培訓不僅針對解碼速度進行了優化，而且大致支持甚至可以提高生成的答案的質量。這種雙重優化是提前的重大進步，因為它在速度和質量上都提供了不斷的改進，因為越來越多的教育計算變得負擔得起。

在根據所使用的羊Alpavavel模擬標准進行的意大利面的實驗中，該團隊的自我切割模型表明，幾何水平的平均加速度達到了近2倍，而響應質量的平均加速度（從2％的增長到下降到7％）。這意味著用戶可以期望答案的速度幾乎是準確性或一致性明顯降低的兩倍。

吉恩說：“當LLM在撤離期間組織自己的行為時，看到這種行為真是太神奇了。” “看到如何在這些算法中扔更多計算機的計算機在某種意義上是啟發性的，從而產生了越來越複雜的自我抗性行為。”

該研究強調了這一領域的關鍵問題：平衡速度和質量。以前的方法，例如骨架思想（SOT）和APAR，試圖通過手動搜索句法結構（例如子彈點或段落）平行於解碼。然而，當答案甚至與預期模型略微偏離時，這些方法通常是嚴格和不准確的，沒有揭示並行化的可能性。相反，基於培訓的麵食方法提供了更可靠，更可擴展的解決方案。

哲學博士Gene說：“我們正在談論擴大LLM功能，以使其對其產生內容的方式更加聰明。” Csail的學生。 “我們沒有試圖猜測它可以並行地工作，而是教LLM自行確定這些機會。”

展望未來，樂觀的團隊著眼於糊狀物的更廣泛後果。顯著減少解碼LLM的延遲的能力可以導致計算資源需求的減少，這將使這些強大的AI模型更容易訪問，並且更廣泛的用戶和應用程序可訪問。

Gene說：“我們從本質上為LLM開發了一種優化自己的協議。” “由於LLM輸出效率的提高，麵食可以大大減少資源的計算請求並提高LLM的可用性。”

吉恩（Gene）與他的兩位教職員工，麻省理工學院教授邁克爾·卡爾賓（Michael Karbin）和喬納森·拉根·凱利（Jonathan Ragan-Kelly）一起領導了該項目。其他論文公司的作者包括Elli Yu。 Chand and Zach Ankner以及研究人員以及Google Suvinay Subramanian，Nikunj Saunshi，Blake M. Elias，Amir Yazdanbakhsh。