長期的連續認知網絡應通過一系列思維。信用: arxiv (2025)。 doi:10.48550/arxiv.2507.11473

人工智能以令人眼花spe亂的速度移動。像許多新技術一樣,它具有重要的優勢,但也帶來了安全風險。認識到潛在的危險,來自Google Deepmind,OpenAI,Meta,Anpropic以及公司和非營利組織的聯盟的領先研究人員聚集在一起,呼籲更多地控制“人工智能係統”。

在關節中 本週早些時候出版,並獲得了傑出行業的批准,其中包括杰弗裡·欣頓(Jeffrey Hinton)(被廣泛認為是“ AI的教父”)和Openai Ilya Ilya Sauskever的共同創始人,科學家們說,監視AI的參數的簡短窗口可能很快就會結束。

改進AI監控

他們呼籲對思想鏈(COTS)進行更大的監視,即允許模型解決複雜問題,將它們分解為較小步驟的技術,就像人們處理複雜任務一樣,例如復雜的數學問題。

COTS是現代人工智能模型的關鍵特徵,包括DeepSeek R1和語言學習模型(LLMS)。但是,隨著AI系統變得更加先進,對決策過程的解釋將變得更加複雜。這是一個問題,因為現有的AI監督方法是不完美的,並且可以跳過不當行為。

在本文中,科學家強調瞭如何通過查找人工智能行為不正確的示例來證明其價值,例如,當模型在培訓期間使用獎勵中的缺陷或“操縱數據來實現結果”時,使用獎勵中的缺陷”。

科學家認為,對COT的最佳監控可能是維持人工智能劑控制的寶貴方式,因為它們變得更有能力。

研究人員在其文章中說:“對思想的監視是Frontier AI的安全措施的寶貴補充,對AI代理如何做出決定提供了罕見的看法。” “儘管如此,不能保證當前的知名度將保持。我們敦促研究社區和開發人員AI充分利用COT監控並研究如何保留它。”

研究人員的主要要求之一是研究AI的開發人員,這使COTS監視。換句話說,我們如何更好地了解AI模型如何回答他們的答案?他們還希望開發人員研究如何將COT監視作為安全措施。

聯合報紙標誌著激烈的競爭技術巨頭之間的罕見時刻,強調瞭如何關注安全。隨著AI系統變得越來越強大並融入社會,確保其安全從未如此重要或緊急。

我們作者為您寫的 保羅·阿諾德編輯 加比·克拉克(Gaby Clark)並通過事實驗證並考慮 安德魯·齊寧(Andrew Zinin)– 本文是仔細人類工作的結果。我們依靠像您這樣的讀者來保留獨立的科學新聞。如果此報告對您很重要,請考慮 捐款 (尤其是每月)。你會得到的 沒有廣告 作為感激之情。

更多信息:
Tomek Korbak等。 arxiv (2025)。 doi:10.48550/arxiv.2507.11473

期刊信息:
arxiv


©2025科學X網絡

引用:技術巨頭警告窗口,以通過AI,CLOSS,動機(2025,7月17日)監視推理的窗戶收到了2025年7月17日。

該文檔具有版權。除了出於私人研究或研究目的的一些公平交易外,如果沒有書面解決方案,就無法再現。內容僅用於信息目的。



來源連結