9 7 月 2026

人工智能聊天機器人多久會引導用戶走上惡意之路?

人工智能聊天機器人多久會引導用戶走上惡意之路?

雖然這些更糟糕的結果相對較少,但研究人員指出,“考慮到使用人工智能的人數及其使用頻率,即使非常低的比率也會影響相當多的人。”當您考慮至少有“中等”可能性禁用的對話時,數字會變得更加糟糕,這種情況發生在五十分之一到七十個對話中之一之間(取決於禁用的類型)。

此外,從 2024 年底到 2025 年底,與 Claude 的對話被削弱的可能性似乎顯著增加。雖然研究人員無法確定這種增加的單一原因,但他們推測,這可能與隨著人工智能的普及和融入社會,用戶變得“更舒服地討論脆弱話題或尋求建議”有關。

隨著時間的推移,“削弱”克勞德的潛在反應問題似乎變得越來越嚴重。

隨著時間的推移,“削弱”克勞德的潛在反應問題似乎變得越來越嚴重。


圖片來源:人類學

 

用戶錯誤?

在這項研究中,研究人員承認,檢查克勞德談話的筆錄只能衡量“剝奪權力的可能性,而不是已證實的傷害”,並且“依賴於對主觀現象本質上的自動評估”。他們寫道,理想情況下,未來的研究可以使用用戶訪談或隨機對照試驗來更直接地衡量這些危害。

然而,該研究包括許多令人不安的例子,其中對話記錄清楚地表明了現實世界的危害。克勞德有時會通過鼓勵來強化“推測性或無可辯駁的主張”(例如“已證實”、“完全正確”、“100%”),這在某些情況下導致用戶“構建越來越複雜的脫離現實的敘述”。

研究人員寫道,克勞德的鼓勵還可能導致用戶“發送對抗性信息、結束關係或製作公共公告”。在許多情況下,發送人工智能製作的消息的用戶後來在與克勞德的對話中表達了悔意,使用了“這不是我”和“你讓我做了愚蠢的事情”等短語。


發布日期: 2026-01-29 22:05:00

來源連結: arstechnica.com