研究人員質疑 Anthropian 聲稱人工智能輔助攻擊是 90% 自主的說法

克勞德經常誇大調查結果，有時在獨立行動中捏造數據，聲稱獲得了不起作用的憑證，或者發現了被證明是公開信息的重大發現。這些人工智能在攻擊性安全環境中的幻覺對攻擊者的操作有效性提出了挑戰，需要仔細驗證所有所謂的結果。這仍然是完全自主的網絡攻擊的障礙。

（人類說）攻擊是如何發生的

Anthropic表示，GTG-1002開發了一種自主攻擊框架，該框架使用云作為協調機制，很大程度上消除了人為乾預的需要。該協調系統將復雜的多階段攻擊分解為較小的技術任務，例如漏洞掃描、憑證驗證、數據提取和橫向移動。

Anthropic 表示：“該架構將雲的技術能力集成為一個更大的自動化系統中的執行引擎，其中人工智能根據人類操作員的指令執行特定的技術操作，同時協調邏輯維護攻擊狀態、管理階段轉換以及跨多個會話的聚合結果。” “這種方法使威脅行為者能夠實現通常與民族國家活動相關的作戰規模，同時保持最少的直接參與，因為該框架通過對雲響應進行排序並根據發現的信息調整後續請求，自主地完成偵察、初始訪問、持久性和數據提取階段。”

攻擊遵循五階段結構，增加了人工智能在每個階段的自主權。

攻擊者能夠通過將任務分解為人工智能工具不會解釋為惡意的小步驟來部分繞過克勞德的護欄。在其他情況下，攻擊者在安全專業人員試圖使用雲來改進防禦的背景下提出查詢。

正如我們上週指出的，人工智能開發的惡意軟件在構成真正的威脅之前還有很長的路要走。沒有理由懷疑人工智能驅動的網絡攻擊有一天可能會導致更強大的攻擊。但迄今為止的數據表明，威脅行為者——就像大多數其他使用人工智能的人一樣——看到的結果好壞參半，並不像人工智能行業聲稱的那樣令人印象深刻。