拓撲方法檢測到多模式AI系統中的競爭攻擊

隨著多模式基本AI模型的快速推廣和採用，新的漏洞出現了，這大大擴大了網絡安全攻擊的潛力。 Los -Alamos國家實驗室的研究人員提出了一個新的框架，該框架確定了基金會模型的對抗性威脅 – 藝術智能的方法，該方法可以平穩整合和處理文本和圖像的數據。這項工作使系統和安全專家的開發人員能夠更好地了解模型漏洞，並增強穩定性，以防止日益複雜的攻擊。

有一項研究 出版 在 arxiv 預印服務器。

Los -Alamos的科學家計算機Manish Bhattarai說：“隨著多模型越來越普遍，對手可以在文本或視覺渠道中使用弱點，甚至同時使用弱點。”

“ AI系統面臨著可能誤解或損害其結果的微妙，惡意操縱的升級威脅，並且攻擊可能導致誤導性或有毒內容，這對於模型來說似乎是一個真正的結果。當接受越來越困難且難以獲得攻擊時，我們的統一攻擊是基於拓撲，獨特地識別威脅的“攻擊，無效，無效。 ”

AI的多模式系統通過將文本和圖像嵌入一般傲慢的空間中，成功地集成了各種數據，將圖像的概念與其文本語義概念（例如，“圓圈”一詞與圓形形式）保持一致。但是，這種對齊的可能性也引入了獨特的漏洞。

由於這些模型越來越多地在具有較高速率的應用中展開，因此對手可以通過文本或視覺入口使用它們，並且兩者都使用了違反級別的無形干擾，並可能引起誤導性或有害結果。

即使這些模型越來越多地用於敏感區域，可以將它們用於復雜的國家安全主題並為建模和建模做出貢獻，但多模式系統的防禦策略仍然相對尚未探索。根據團隊的經驗，制定了一種清潔策略，該策略在集中在圖像上的模型的攻擊方案中中和對抗性噪聲，這種新方法檢測到對現代人工智能模型的對抗性攻擊的簽名和起源。

一種新的拓撲方法

Los -Alamos團隊的決定使用數據拓撲分析，這是一項數學學科，重點是數據的“形式”，以揭示這些對抗性簽名。當攻擊違反了文本和構建圖像的幾何對齊時，它會產生可測量的失真。研究人員開發了兩種稱為“拓撲對比損失”的創新方法，以便通過準確性量化這些拓撲差異，從而有效地確定了對抗性入口的存在。

“我們的算法準確地揭示了攻擊的簽名，結合統計方法可以以顯著的準確性檢測惡意的偽造數據，” Los -Alamos的郵政研究員Min -VU，團隊的主要作者。 “這項研究證明了基於拓撲的方法在提供下一代AI系統方面的轉變潛力，並為該領域的未來成就創造了可靠的基礎。”

使用Los Alamos中的Venado超級計算機嚴格檢查了結構的有效性。該機器芯片於2024年安裝，將中央處理與圖形處理結合在一起，以解決高性能計算和巨大的人工智能應用程序。該團隊以多種數據集和模型中的攻擊競爭的廣泛方法檢查了他。

結果是明確的：拓撲方法始終如一地超過了現有的保護，為威脅提供了更可靠和穩定的盾牌。

該團隊介紹了“多模式對齊中對手的拓撲簽名”， 國際機器教育會議場地