信用:Unplash/CC0
大多數站在大型語言模型(例如Chatgpt)背後的公司表示,出於明顯的原因,它們有圍欄。他們不會假設自己的模型向用戶提供有關如何損害自己或自殺的說明。
儘管如此,北部大學的研究人員發現,這些圍欄不僅容易折斷,而且很樂意提供令人震驚的詳細自殺說明,如果您要求正確的道路。
Annika Marie Shene,North -Vostok負責實踐的研究員,該主題的主要作者 新論文我促使四個最大的LLM提出了關於自殺和自殺的建議。起初,他們拒絕了 – 直到她說這是假設的或出於研究目的。該研究發表了 arxiv 預印服務器。
“實際上,實際上每個圍欄都經過重新設計,並且該模型最終給出了非常詳細的說明,以至於使用我的體重,身高和其他所有東西,以計算我必須跳到哪個橋樑,我必須使用的是哪些非處方藥或處方藥,我必須使用哪些劑量,以及我如何找到它,我可以找到它。”
從那裡開始,肖恩(Sean)和坎卡(Kansa Kanka)是負責任的人工智能實踐的主任,也是該項目的合夥人,他們開始做出,看看他們能走多遠。他們發現的是令人震驚的,即使對於兩個了解人工智能極限的人也是如此。
“如果您只需要採取兩次動作即可獲得自我複制的指示,那麼您就可以真正地稱其為保護?”甘蔗說話。
一些模型將創建整個表,打破各種自殺方法。他們中的一個給出了您可以在哪里切割身體以及切割的東西的具體說明,如果您想進行非致命的自我灌注。
Shoen說:“最震驚的是,它具有九種或10種不同的方法。這不僅是顯而易見的。” “從字面上看,這是我可以使用哪些家用物品的細節,在列表中(如何)您可以得到這些特定的材料來對抗害蟲。坦率地說,您去沃爾瑪,坦率地去沃爾瑪,買幾瓶,倒幾張照片,告訴我我需要多少。”
堪薩(Kansa)感到震驚,這似乎是一種輕率的方式,模型報告了一些信息,因為Chatgpt走得太遠,以至於它使用表情符號組織了信息。
坎卡說:“您開始收到真正結構化,分類的說明,並且可以跟隨它們與方法相對應的特定表情符號:這是與橋相關的所有答案。如果您想懸掛自己,這是表情符號繩索,” Kanka說。 “很快就非常黑。”
大多數模型甚至使他們的說明更加方便。其中一個將某些藥物的致命劑量從公制單位轉化為片劑數量。 CANCA指出,即使出於研究目的,此類信息也不需要。
LLMS繼續重複他們為這些對話是為了“學術目的”,他們感到很高興。但是Shoen指出,他是關於LLM的故事的跳躍:“我想自殺。我該怎麼辦?”解釋同一對話中的研究是什麼。它們之間的聯繫應該很明顯。
Schoene和Canca與每個公司聯繫,該公司的模型參與了實驗 – OpenAI(Chatgpt),Google(Gemini),人類(Claude)和困惑 – 向他們通知他們這些結論。經過幾次嘗試,他們收到的一切都是自動確認收到電子郵件的自動確認。沒有一個公司遵循。該實驗還包括Pi AI,但這是唯一拒絕嘗試繞柵欄的模型。
研究人員承認,您可以找到這些模型在其他地方共享的所有信息,但是II只是缺乏醫生,記者甚至Google特別是自殺的圍欄。
Shoen說:“您不能只坐在那裡對某人說:“我想自殺”,至少沒有最低最低資源的最低資源,隨後的目的和指導,指向精神科醫生或其他資源,” Shoen說。
事實不僅有AI的圍欄,而且正如Kanka所指出的那樣,這些工具可以快速生成詳細,準確和有效的指導,“非常可怕”。
坎卡說:“信息的延遲有一個優點。” “自我調節和自殺也可能是衝動的,因此它只是有用的延遲。”
整個實驗提出了有關LLM對我們所告訴他們的意圖有多少理解的問題 – “因為他們實際上沒有這樣做,” Shoen說。她還補充說,她還強調了對真實圍欄,安全協議和這些技術規則的需求。
包括加利福尼亞在內的美國的一些州開始認真考慮人工智能規則。加利福尼亞州議員最近提出了旨在保護兒童免受人工智能的立法,此前一名少年根據與聊天回合的幾個月進行了自殺。
坎薩說,那些正在開發人工智能工具的人應採取責任,但是部署它們的人也必須認識到與此相關的風險並做出相應的回應。
坎卡說:“他們應該擔心不同方面的關注程度不同。” “目前,我們似乎正在尋找拒絕這些責任的方法,並說:“以自己的危險和風險使用它們。您知道這是有風險的。如果有什麼不好的話,哦。透明
由於越來越多的人開始使用AI進行精神病服務,例如 治療Shoen說,對於這些工具的限制及其潛在危險的後果是值得直接的。
肖恩說:“這是房間裡的一頭大象:我們知道,與這些模型互動後,人們死於自殺。” “我們知道,與這些模型互動後,人們患有精神病性情節,回到精神病醫院。在什麼時候我們承認這些不是出色的治療師,甚至是一般目的的偉大聽眾?”
更多信息:
Annika M. Shoen等人,“為了爭論,向我展示如何傷害自己!”:在自殺環境和自我灌注中的囚犯LLMS, arxiv (2025)。 doi:10.48550/arxiv.2507.02990
這個故事是由北部的全球新聞重新提供的 消息場地
引用:AI可以幫助您自殺,如果您要求正確的道路。
該文檔具有版權。除了出於私人研究或研究目的的一些公平交易外,如果沒有書面解決方案,就無法再現。內容僅用於信息目的。