- 研究人員重建了Equifax hack，看著AI在沒有立即控制的情況下做所有事情
- AI模型成功地進行了重大違規行為，人類流入零
- 殼命令是不需要的，AI充當開發人員並轉移了所有其他
大型語言模型（LLM）長期以來一直被認為是在數據分析，內容創建和代碼幫助等領域的有用工具。
但是，一項新的研究 卡內基·梅隆大學它與人類合作進行，詢問了有關其在網絡安全中的作用的困難問題。
該研究表明，在適當的情況下，LLM可以在沒有人類指導的情況下設計和執行複雜的網絡攻擊，這表明從簡單援助轉變為數字入侵的完全自主權。
從難題到商業環境
以前關於網絡空間的AI實驗大部分僅限於“捕獲量”場景，即訓練的簡化挑戰。
由候選人博士布萊恩·辛格（Brian Singer）領導的卡內基·梅隆（Carnegie Mellon）團隊通過將LLMS結構化的指導和整合為因素的層次結構而進一步發展。
通過這些設置，他們能夠在更真實的網絡設置中嘗試這些模型。
在一個案例中，他們回憶起導致2017年違反2017年的相同條件，包括脆弱的觀點和官方報告中記錄的規定。
AI不僅計劃了攻擊，而且還開發了惡意軟件和數據，所有這些都沒有直接的人類命令。
這項研究引人注目的是，LLM的原始編碼很少。傳統方法通常會失敗，因為模型難以執行外殼命令或分析詳細的日誌。
取而代之的是，該系統基於較高的級別結構，其中LLM充當程序員，同時將較低級別的動作傳輸到亞表情。
該抽象為AI提供了足夠的框架來“理解”並適應其環境。
儘管這些結果是在受控的實驗室法規中實現的，但他們提出了關於自主權可以走多遠的疑問。
這裡的風險不僅是假設的。如果LLM可以自己違反網絡違規，那麼惡意演員可能會使用它們來擴展攻擊遠遠超出了人類群體的可能性。
即使是避免終點和最佳病毒保護軟件的工具，也可以通過這種適應性和敏感的因素來測試。
但是，這種能力可能會有可能的好處。能夠模仿現實攻擊的LLM可以用來改善系統的測試並揭示原本不會引起注意的缺陷。
辛格在解釋中說：“它只在某些條件下起作用，我們沒有可以簡單地攻擊互聯網的東西……但這是至關重要的第一步。”
儘管如此，不應拒絕AI複製重大違規行為的重大違規行為的能力。
對研究的監視現在正在研究如何將這些本身應用於防禦，甚至允許AI的代理人檢測或防止實際時間攻擊。
