科學家發現他們了解AI語言的那一刻

一項新的研究發表了 統計力學雜誌：理論與實驗 （（昏迷）它揭示了那個謎的一部分。當用於準備少量數據時，神經網絡最初是基於單詞在句子中的位置。但是，由於系統遭受足夠的數據，它會根據單詞的含義發出新的策略。研究發現，當關鍵數據閾值交叉（作為物理系統的過渡階段）時，這種過渡會暴力發生。這些發現提供了有價值的觀點，可以理解這些模型的運作。

隨著孩子的學習，它開始根據單詞位置理解句子：根據句子中的那些單詞，網絡可以結論關係（主題，動詞，對象？）。但是，隨著培訓的進行 – 網絡繼續“學校” – 輪到：這個詞意味著它成為信息的主要來源。

新研究解釋說，這是在簡化的自我保健機制模型中發生的事情。變壓器是旨在處理數據序列的神經網絡的架構，例如許多現代文本和語言模型的軸。變形金剛在序列中使用關係，並使用自己的護理機制來評估每個單詞對他人的重要性。

“在單詞關係之間進行評估，”雨果·庫伊（Hugo Cui）的博士後研究人員雨果·庫（Hugo Cui）可以使用“網絡可以使用兩種策略，其中一種是利用單詞的位置”。例如，在諸如英語之類的語言中，主題通常在動詞之前，該語言在對象之前。 “ Maria Eats Apple”是此序列的一個簡單例子。

他解釋說：“這是在準備網絡時自發產生的第一個策略。” “但是，如果鍛煉繼續進行，並且網絡在某個點之後接收到足夠的數據 – 策略劇烈改變：網絡根據含義開始。”

“當我們設計這項工作時，我們想混合策略，但令人驚訝。在特定的閾值以下，網絡基於位置，而在其上方，這只是意義。”

CUI將這一變化描述為一種相變，從物理學借用了概念。統計描述構成統計分析系統（例如原子或分子）的系統。神經元網絡 – AI這些系統的基礎 – “節點”，“節點”或神經元（由人腦類比提名），每個人都與許多其他人相連並進行簡單操作。系統的智能是由這些神經元的相互作用產生的，這些神經元的相互作用可以用統計方法描述。

因此，我們可以談論網絡行為作為過渡階段的暴力變化，具體取決於水，溫度和壓力的某些條件，從氣體到液體變化。

他強調說：“從理論方法到這種方式，策略的改變很重要。” “我們的網絡在與當天的互動中進行了簡化。

弗雷亞·貝倫森（Freya Behrensen）的雨果·庫倫（Hugo Cuiren）在JSTAT中發布了點產品的重點和“語義學習之間的過渡”，該機器中的2025年特殊標本和Neurips 2024 Conference Processure。