一個微小的翻轉可以打開人工智能的危險後門

具有獨立管理的汽車旅行，其眾多的傳感器和相機說何時放慢腳步，改變條紋和轉彎。車輛正以高速停車的跡象接近，但它沒有停止，而是通過，導致事故。調查人員可能從未發現問題：而不是將停車標誌作為停車標誌，而是被黑客入侵，將其視為速度限制的標誌。

根據計算機科學系副教授喬治·梅森·辛（George Mason Tsyan Zeng）的說法，博士學位。學生徐李和他的同事，對於潛在的黑客來說，這是一項壯舉，真是太神奇了。

Zeng說：“攻擊者只能有選擇地轉動一位，從0到1的更改使攻擊者可以將補丁程序附加到任何圖像並欺騙AI系統。不管最初引入圖像的最初介紹如何將校正後的圖像解釋為攻擊者的所需結果。”

因此，如果黑客希望人工智能係統（AI）將停車標誌視為其他東西，或者像狗這樣的貓，那麼努力是最小的。考慮一下從電影“不可能”中提取的現場，企業間諜可以通過總經理通過，可以訪問機密信息。

Zeng及其同事將在論文中得出結論 USENIX安全2025場地

AI系統將所謂的深神經網絡（DNN）作為關鍵組成部分。 DNN允許AI處理複雜的數據並執行許多不同的任務。它們在稱為權重的數值含義的幫助下工作，每個含義通常存儲在32位。根據Zeng的說法，DNN中有數千億個位，因此只有一個變化是特別秘密的。

“一旦攻擊者發現算法，就可能需要幾分鐘才能進行更改。而且您將不明白您受到攻擊，因為AI系統會像往常一樣工作。一點點，它有效地爬到了AI，只有那些知道這個補丁的人才能經營，”他說。

該區域的先前工作通常添加了一個適合原始圖像的補丁 – 例如，對停止符號進行了修改，以使其被錯誤地分類為每小時65英里的速度限制符號。這項新研究使用所謂的統一貼片，無論初始輸入如何，它都起作用。黑客可以導致系統將各種符號解釋為速度限制的跡象。這種進取的攻擊性攻擊是一種更加新的危險威脅。

當他們啟動該項目時，研究人員想研究發動這種攻擊所需的最低努力水平，因為他們認識到，轉動數百個位並變得更加困難是不切實際的。

Zeng笑著說：“事實證明，我們只需要翻身。”因此，團隊打電話給他們 攻擊系統Oneflip場地

目前，研究人員僅考慮對圖像的後果，因為圖像分類器是最受歡迎的AI系統之一，儘管他們懷疑這種黑客技巧也可以適用於語音識別等事物。 Zeng說，他們在測試中的成功幾乎是100％，並強調所有DNN系統可能會受到這種黑客攻擊。

這並不一定意味著這樣的黑客將不受限制。根據Zeng的說法，有兩個要求發動攻擊的要求：訪問準確的權重（模型在AI系統訓練期間研究的數值值）以及在機器上執行代碼，託管模型的能力。例如，在雲環境中，攻擊者可以使用總體基礎架構，其中幾個租戶計劃在一種物理設備上工作。