我們以錯誤的方式界定人工智慧和網路犯罪。大多數討論仍然將人工智慧視為詐騙者使用的工具，但最大的威脅是人工智慧開始執行詐騙本身的關鍵部分。這一轉變伴隨著業界對自主人工智慧代理的更大推動，這些系統旨在以最少的人類監督來規劃、行動和執行任務，從而使工具和參與者之間的區別變得更加不透明。
即使程式碼很複雜，網路犯罪也帶有人類特徵。有人編寫了惡意軟體，有人協調了網路釣魚誘餌，有人決定何時橫向移動、何時滲透資料以及何時兌現。安全團隊可以遵循這一意圖鏈，即使他們未能及時阻止。
最近的人工智慧攻擊顯示這條鏈條正在開始斷裂。二月份，一名身份不明的駭客使用 Anthropic 的聊天機器人用於自動化網路攻擊 反對墨西哥政府機構。所報告的盜竊事件涉及 150 GB 的受損數據，包括選民記錄、登記記錄和員工憑證，以及 1.95 億個暴露的身份。更令人不安的是違規行為的展開方式。
該系統可以掃描政府系統，找到弱點，並選擇自己利用什麼。它似乎不需要在每個階段進行特定的人類指令。據報道，一旦進入內部，它就會即時產生自訂漏洞，根據防禦變化進行調整，並以足夠快的速度移動以將進入變成大規模疏散。雖然這種行為的元素類似於熟悉的自動化滲透測試工具，但所描述的自主程度標誌著顯著的升級。
最終，研究人員留下了一系列自動化操作，背後沒有明確的代理。傳統的法醫方法無法產生可識別的攻擊者指紋或明顯的嫌疑犯。剩下的就是與人工智慧輔助執行一致的攻擊模式。這是違規行為中內建的策略警告。
入侵者從視野中消失
墨西哥的案例很重要，因為它將許多令人不安的趨勢濃縮為一個事件。人工智慧減少了尋找漏洞和產生攻擊程式碼所需的工作，在獲得存取權限後加快了執行速度，並使事後執行變得更加困難。這與網路安全公司和政府機構發出的更廣泛的警告一致，即人工智慧正在將攻擊生命週期從幾週壓縮到幾分鐘。
欺詐正在朝著同一個方向發展。 Deepfake 不再是選舉剪輯或名人惡作劇的新奇玩意，它們正在成為一種可行的犯罪介面。在 2024 年初的一個突出案例中， Deepfake視訊會議 說服英國工程公司 Arup 的一名員工轉帳 2,500 萬美元。保險公司也開始 為損壞定價 由合成冒充和聲譽損害造成。
現在，同樣的模式正在更個人化的環境中影響到一般使用者。假明星代言現象仍在持續 推動消費者投資和欺詐。泰勒絲 (Taylor Swift) 和馬斯克 (Elon Musk) 等知名人物已多次被用於人工智慧生成的詐欺活動，凸顯了可識別的身份是如何被大規模武器化的。合成聲音和合成角色變得越來越有說服力。這種威脅不再是理論上的。
在 Humanity，我們運行了一個 對照實驗 看看可用的人工智慧工具如何創建令人信服的約會資料並獲得真實用戶的信任。這些個人資料通過了 Tinder 檢查，招募了 296 名用戶，並說服 40 人同意親自見面。最重要的教訓是在這最初的段落之後。一旦個人資料看起來值得信賴，系統就可以繼續進行對話，並提供快速回應和足夠的一致性，讓人感覺很人性化。在某一階段，實驗同時處理約 100 個對話。這是機構需要警惕的變化。詐欺現在依賴合成身份，這些身份可以保持足夠長的可信度，使人們從對話轉向行動。
合成身份成為一體 功能性工具 為了作弊。人工智慧從說服轉向執行。這是 幫助攻擊者 更快地發現弱點，更快地部署漏洞，並縮短從識別到損壞的路徑。 Anthropic 和 OpenAI 等主要人工智慧實驗室正在積極開發能夠執行多步驟操作的代理系統，這引發了有關這些系統如何在現實環境中進行認證、約束和控制的問題。出處現在是安全挑戰的核心。
驗證應移至行動級別
傳統的網路安全仍然假設嚴重的攻擊最終可以追溯到人類操作員、團隊或組織。隨著人工智慧佔據更多的執行層，這種假設就會減弱。當系統可以即時適應並僅留下自動痕跡時，無論在操作上還是在法律上，效能都變得更加困難。
挑戰同時來自技術、法律和管轄權。人工智慧系統不需要固定地點，可以跨國同時運行，使得傳統的執法和執行方式效率降低。這已經與新興的監管框架相衝突，後者強調問責制，但缺乏明確的機制來識別實踐中的自治系統。這就是為什麼後續的人工智慧操作應該具有可驗證的加密身份。簽署的行動可以創建永久的審計跟踪，有助於建立合法性，並為研究人員的未來績效提供更堅實的基礎。
因此，下一個安全標準必須關注來源和檢測。如果人工智慧系統可以影響金錢、存取、身分或敏感數據，則其後續行動應簽署、記錄並追蹤到在規定的權利範圍內運作的負責任實體。這可以採取強制人工智慧代理與金融系統、消費者平台或關鍵基礎設施互動的身份等級的形式，類似於 SSL 憑證在網路上建立信任的方式。
這將使績效更加可信，責任更加真實。無論是信任證明還是其他機器身分框架的形式，該原則比任何單一實作都更重要。可以在敏感環境中運作的系統也應該是可識別的。
墨西哥政府的違規行為表明，更廣泛的轉變已經開始。隨著自主詐欺代理變得越來越普遍，在匿名機器操作成為常規之前，必須將問責制內建到人工智慧系統中。如果沒有它，我們就有可能進入一個在沒有明確作者身份的情況下大規模實施損害的階段，從而破壞基於可識別參與者假設的網路安全以及法律和金融系統。網路安全的未來將取決於數位世界中的行動是否繼續帶有名稱、簽名和責任鏈。這是我們現在必須建立的標準。
