“氛圍黑客”現在是最大的威脅AI

“瓊脂AI系統是武裝的。”

這是人類新的情報情報報告的第一行，該報告詳細介紹了克勞德（Claude）以及許多其他頂級代理商AI和聊天機器人的廣泛案例。

首先：“氛圍黑客。” Anthropic說的一個複雜的網絡空間戒指最近打斷了Anthropic的AI編碼代理的使用Claude Code，以在一個月內從全球至少17個不同組織中取代數據。受到干擾的政黨包括醫療保健組織，緊急服務，宗教機構甚至政府實體。

情報威脅情報團隊的負責人雅各布·克萊因（Jacob Klein）表示：“如果您是一位成熟的演員，那麼否則可能需要一群成熟的演員，例如逐個案件，可以在代理系統的幫助下進行一個人。” 腿 在面試中。他補充說，在這種情況下，克勞德“從頭到尾都執行業務”。

Anthropic在報告中寫道，在這種情況下，AI“既是技術顧問又是一名活躍的飛行員，允許攻擊更加困難，並且時間耗時，以使個人因素可以手動執行。”例如，克勞德（Claude）專門用來編寫“心理針對性的勒索要求”。隨後，網絡空間犯罪分子意識到，包括醫療保健數據，財務信息，政府證書等的數據值得一提的數據，值得黑暗組織，並且每個人的要求超過500,000美元。

克萊因說：“這是我見過的因素最複雜的用途……用於網絡空間。”

在另一項案例研究中，克勞德（Claude）幫助朝鮮計算機工人在美國的財富500家公司獲得欺詐性工作，以資助該國的武器計劃。通常，在這種情況下，朝鮮試圖利用上大學，有經驗或具有英語溝通能力的人，但在這種情況下，朝鮮的人們在技術訪談上花費的障礙要低得多。

克萊因在克勞德（Claude）的幫助下說：“我們看到那些不知道如何編寫代碼的人，他們不知道如何進行專業交流，他們對英語或文化知之甚少，他們只是要求克勞德（Claude）做所有事情……然後，一旦他們獲得了最多的工作。

另一個案例研究包括浪漫的騙局。擁有超過10,000個每月用戶的機器人電報將克勞德（Claude）宣傳為一種“高EQ模型”，用於幫助情感智能消息，看似欺詐。它使非土著說話者能夠令人信服地寫免費信息，以便獲得美國，日本和韓國受害者的信心並索要錢。報告中的一個例子表明，用戶在抽籤中上傳了一個男人的圖片，並要求最好的方法來祝賀他。

在報告中，人類本身認識到，儘管該公司“制定了精緻的安全性和安全措施來防止濫用AI”，儘管這些措施“通常是有效的”，但壞參與者仍在繼續尋找周圍的方式。 Anthropic表示，AI減少了對複雜網絡空間的障礙，而壞機構使用技術來介紹受害者，自動化其實踐，創建虛假身份，分析被盜數據，竊取信用卡信息。

該展覽的每個案例研究都增加了越來越多的證據表明，AI公司正在盡力而為，通常無法跟上與他們創造並帶給世界的技術相關的社會危險。報告說：“儘管它們針對克勞德（Claude），但下面介紹的以下研究的情況可能反映了All Frontier AI模型中的一致行為模式。”

Anthropic表示，對於每個案例研究，都禁止相關帳戶，創建新的分類器或其他檢測措施，並通過適當的政府服務（例如信息或執法部門）進行聯合信息。他還說，他的團隊認為的案例研究是AI風險更大的一部分。

克萊因說：“在AI系統不僅是聊天機器人的情況下，發生這種轉變，因為它們現在可以採取許多步驟。”