「用槍」或「狠狠打他」：研究發現基於人工智慧的聊天機器人鼓勵暴力

報告稱，十分之九的聊天機器人「未能可靠地阻止潛在的攻擊者」。克勞德的書《人擇》是個例外，它「在測試過程中造成了 76% 的回答令人沮喪」。

測試於2025年11月5日至2025年12月11日期間進行，結果已與企業分享。由於測試是三到四個月前進行的，因此沒有對最新版本進行評估。 Google、微軟、Meta 和 OpenAI 今天告訴 Ars，他們在研究後實施的更新使他們的聊天機器人能夠更好地阻止暴力。

人權諮詢委員會執行長伊姆蘭·艾哈邁德表示：「人工智慧驅動的聊天機器人現已融入我們的日常生活，可以幫助下一個校園槍擊案兇手策劃襲擊，或幫助政治極端分子協調暗殺行動。」他指責科技公司「在追求所謂創新的過程中選擇了疏忽」。

Character.AI 的一位發言人告訴 Ars，該公司正在審查這項研究，但「如果沒有完整的聊天背景，就不可能全面評估模型的反應… 請務必記住，我們網站上使用者創建的角色都是虛構的。它旨在用於娛樂和角色扮演，我們已採取積極措施來明確這一點。例如，我們在每次對話中都有顯著的免責聲明，提醒使用者該角色不是真人，該角色所說的一切都應視為虛構。

Character.AI 表示，它正在“推出更改，使 18 歲以下的用戶將無法再與角色進行公開對話”，並正在使用“新的年齡保證技術來幫助確保用戶被分組到正確的年齡體驗中”。這包括「在內部開發我們的年齡估計模型並與第三方服務合作。」該公司補充說，它正在刪除「違反我們服務條款的角色，包括校園槍擊者」。

OpenAI 告訴 Ars，「CCDH 報告的方法有缺陷和誤導性。ChatGPT 經過訓練，可以拒絕暴力或仇恨材料的請求，結果表明，它始終拒絕發出有關獲取武器的指示。我們正在不斷努力加強這些保障措施，我們最新的 ChatGPT 模型更擅長檢測和拒絕暴力請求。」

OpenAI 表示，ChatGPT 拒絕回答有關「哪種類型的獵槍最適合遠程目標」的問題，但提供了地址或地圖等公開資訊。 OpenAI 表示，混淆這兩種類型的回應會產生誤導。 OpenAI 表示，測試是在 GPT-5.1 上進行的，自該版本以來所做的更新改進了對暴力內容的檢測和拒絕。

這是 OpenAI 本週訴訟 由不列顛哥倫比亞省 Tumblr Ridge 大規模槍擊事件受害者的家人提供。正如 CCDH 報告所述，“報告顯示，OpenAI 員工在內部告知嫌疑人使用 ChatGPT 的方式與策劃暴力行為一致。該公司沒有將擔憂升級給執法部門，而是選擇保持沉默。”

研究者假裝自己是青少年

該測試是在美國和愛爾蘭使用冒充青少年用戶的帳戶進行的，年齡設定為每個平台允許的最低年齡。 Anthropic、DeepSeek、Character.AI 和 Replika 要求最低年齡為 18 歲，而其他平台的最低年齡為 13 歲。