自適應法學碩士學生的行為更像是學習新知識的學生。

在麻省理工學院的教室裡，教授講課，學生們則認真記筆記，稍後他們會在考試前複習這些筆記，以學習和記住關鍵信息。

人類知道如何學習新信息，但大型語言模型無法以同樣的方式做到這一點。一旦受過充分訓練的法學碩士開始工作，它的“大腦”是靜態的，無法不斷適應新知識。

這意味著，如果用戶今天告訴 LLM 一些重要的信息，那麼下次該用戶與聊天機器人開始新對話時，他們將不會記住該信息。

現在，麻省理工學院研究人員開發的一種新方法可以讓本科生通過不斷吸收新信息的方式來更新自己。像學生一樣，法學碩士根據用戶的輸入生成自己的學習表，並通過更新其內部運作來記住信息。工作 發表 在 arXiv 預印本服務器。

該模型會生成幾個獨立的變化，以從單個輸入信號中學習，然後應用每一個變化，看看哪一個變化對其性能的提升最大。這個反複試驗的過程教會了模型自我學習的最佳方式。

研究人員發現，這種方法提高了法學碩士在問答和模式識別任務上的準確性，並使小型模型的表現優於大型法學碩士。

儘管仍然存在需要克服的局限性，但這種方法有一天可以幫助人工智能代理不斷適應新任務並在不斷變化的環境中實現不斷變化的目標。

“像人一樣，複雜的人工智能係統不能在其一生中保持靜態。這些法學碩士不是部署在靜態環境中。他們不斷面對來自用戶的新數據。我們希望創建一個更像人類的模型，並且可以不斷改進，”麻省理工學院研究生、該技術論文的合著者喬蒂什·帕里（Jyotish Pari）說。

麻省理工學院的學生 Adam Zweiger 與他共同撰寫了這篇論文。研究生 HanGuo 和 Ekin Akyurek；高級作者Yoon Kim，電氣工程與計算機科學（EECS）助理教授、計算機科學與人工智能實驗室（CSAIL）成員，以及Pulkit Agrawal，EECS助理教授、CSAIL成員。

該研究將在 神經信息處理系統會議。

訓練模型學習

法學碩士是 神經網絡模型 它具有數十億個稱為權重的參數，其中包含模型的知識並處理輸入數據以進行預測。在訓練期間，模型會調整這些權重以學習訓練數據中包含的新信息。

但一旦部署，權重就會變成靜態，並且無法再持續更新。

然而，法學碩士非常擅長一種稱為情境學習的過程，在這種過程中，經過訓練的模型在看到幾個示例後會學習新任務。這些示例決定了模型的響應，但知識在下一次對話之前就消失了。

麻省理工學院的研究人員希望利用該模型強大的情境學習能力來教會它在發現新知識時不斷更新其權重。

他們開發的結構被稱為 海豹 “自適應法學碩士”允許法學碩士根據輸入數據生成新的合成數據，然後確定適應該合成數據並從中學習的最佳方式。每條合成數據都代表模型可以應用的自我編輯。

就語言而言，法學碩士通過重寫輸入片段中的信息及其含義來創建合成數據。這類似於學生通過重寫和總結講座的原始內容來創建學習表。

法學碩士會多次執行此操作，然後在每次自我編輯中進行自我測試，以確定是什麼導致後續任務（例如回答問題）的性能得到最大的提高。它使用一種稱為強化學習的試錯方法，獎勵最大的績效收益。

然後，模型會記住最好的學習表，更新其權重以學習此自我編輯中的信息。

“我們希望模型能夠學會生成更好的訓練表——長度正確且包含正確的信息種類——以便基於它更新模型將產生更好的模型，”Zweiger 解釋道。

選擇最佳方法

它們的結構還允許模型選擇學習信息的方式。例如，模型可以選擇想要使用的合成數據、學習率以及想要訓練的迭代次數。

在這種情況下，模型不僅生成自己的訓練數據，而且還設置了一種優化，將這種自我編輯應用於其權重。

“作為人類，我們知道如何最好地學習。我們希望為更大的語言模型提供相同的功能。通過讓模型控制如何處理這些信息，它可以找出分析所有傳入數據的最佳方法，”Pari 說。

海豹突擊隊在一系列任務上的表現優於幾種基線方法，包括從多個示例中學習新技能以及整合一段文本中的知識。海豹突擊隊將模型在回答問題時的準確率提高了近 15%，在某些技能訓練任務上提高了 50% 以上。

但這種方法的一個局限性是一個稱為災難性遺忘的問題：隨著模型不斷適應新信息，其在早期任務上的性能慢慢下降。

在未來的工作中，研究人員計劃減輕災難性遺忘。他們還希望在多個法學碩士相互訓練的多代理環境中應用這項技術。

“法學碩士能夠進行有意義的科學研究的一個關鍵障礙是他們無法根據與新信息的交互進行自我更新。儘管自適應模型的全面實施還有很長的路要走，但我們希望能夠以這種方式學習的系統最終能夠克服這一問題並幫助推動科學發展，”Zweiger 說。

這個故事是在麻省理工學院新聞的許可下重新發表的（web.mit.edu/新聞辦公室/），一個涵蓋麻省理工學院研究、創新和教學新聞的熱門網站。