人類擁有無數的能力，哪些是人類獨有的？至少自亞里士多德以來，語言一直是一個主要的競爭者，亞里士多德寫道，人類是“有語言的動物”。即使像 ChatGPT 這樣的大型語言模型表面上再現了普通語音，研究人員也想知道人類語言是否存在其他動物或人工智能設備的通信系統中無法比擬的特定方面。
具體來說，研究人員調查了語言模型可以在多大程度上推理語言本身。對於語言界的一些人來說，語言模型不僅 不 他們有推理能力，他們 坡。著名語言學家諾姆·喬姆斯基 (Noam Chomsky) 和兩位作者在 2023 年總結了這一觀點，當時 他在裡面寫道 紐約時報 “對語言的正確解釋是複雜的，不能簡單地通過浸泡在大數據中來學習。”這些研究人員認為，人工智能模型可能能夠使用語言，但它們無法以復雜的方式分析語言。
這一觀點最近受到挑戰 紙 和 加斯帕·貝古斯加州大學伯克利分校的語言學家。 馬克西米利安·達布科夫斯基他最近從伯克利獲得了語言學博士學位。和 瑞安·羅茲 羅格斯大學的。研究人員對許多大型語言模型（LLM）進行了一系列語言測試，其中包括在一個案例中讓 LLM 概括構建語言的規則。雖然大多數法學碩士未能像人類那樣解析語言規則，但其中一位法學碩士卻擁有遠遠超出預期的令人印象深刻的能力。他能夠以與語言學研究生幾乎相同的方式分析語言——設計句子、解決多重歧義以及使用複雜的語言特徵（例如反射）。貝古斯說，這一發現“挑戰了我們對人工智能能做什麼的理解。”
他說，這項新工作非常及時，而且“非常重要” 湯姆·麥考伊耶魯大學的計算語言學家沒有參與這項研究。 “隨著社會越來越依賴這項技術，了解它在哪裡可以成功以及在哪裡可以失敗變得越來越重要。”他補充說，語言分析是評估這些語言模型能夠像人類一樣推理的程度的理想測試平台。
無限的複雜性
對語言模型進行嚴格的語言測試的一大挑戰是確保它們還不知道答案。這些系統通常接受大量書面信息的訓練——不僅是互聯網上的大部分信息，包括數十種甚至數百種語言，還包括語言學教科書等內容。理論上，模型可以簡單地記住和回憶訓練期間輸入的信息。
為了避免這種情況，貝古斯和他的同事創建了一個由四部分組成的語言測試。四個部分中的三個涉及要求模型使用樹形圖分析特殊構造的句子，樹形圖首次在喬姆斯基 1957 年的里程碑式著作中引入。 句法結構。這些圖表將句子分為名詞短語和動詞短語，然後進一步細分為名詞、動詞、形容詞、副詞、介詞、連詞等。
測試的一部分側重於回憶——將短語整合成句子的能力。 “天空是藍色的”是一個簡單的英語句子。 “簡說天空是藍色的”將原來的句子合併成一個稍微複雜的句子。重要的是，這個遞歸過程可以永遠持續下去：“Maria 想知道 Sam 是否知道 Omar 聽說 Jane 說天空是藍色的”也是一個語法正確但尷尬的遞歸句子。
