SO稱為Slop AI,這意味著LLM創建的低質量,視頻和文本圖像在過去兩年中佔領了Internet,污染了網站, 社交媒體平台至少 報紙甚至是現實世界的事件。
網絡安全世界並不能避免此問題。去年,整個網絡空間的人們都對AI Slop錯誤報告提出了擔憂,這意味著聲稱發現漏洞實際上不存在的漏洞是因為它們是用大型語言模型創建的,而這只是一種脆弱性。
“人們收到的報告聽起來很合理。它們在技術上看起來正確。然後您最終會挖掘它們,試圖理解:“哦,不,這個脆弱性在哪裡? “,”共同創始人和CTO Runsybil一個開發AI權力的錯誤獵人的開始告訴TechCrunch。
“事實證明,這只是一種幻想。
與內政部的黑客委員會一起在元紅色團隊工作的Ionescu解釋說,其中一個問題是LLMS旨在有用並給出積極的答案。 Ionescu說:“如果您要求它進行報告,它將為您提供報告,然後人們將它們複製並粘貼到Bug Bounty的平台上,並淹沒平臺本身,淹沒客戶並達到令人沮喪的情況。”
Ionescu說:“這是人們正在運行的問題。這是我們得到很多類似金的東西,但實際上只是胡扯。”
就在過去的一年中,有現實世界的例子。安全研究人員哈里·辛頓納(Harry Sintonen)透露,開源項目已收到虛假報告。 “攻擊者被嚴重低估了,” Sintonen寫道 在Mastodon的帖子中。 “捲髮會聞到從英里遠的人AI傾斜。”
為了響應Sintonen的立場,Benjamin Piouffle是Open Collective,這是一個非營利組織的技術平台, 說 他們有同樣的問題:他們的收件箱“充滿了人工智能垃圾”。
一個開源程序員,維護Github的Cyclonedx項目 完全拉動了他們錯誤的慷慨 今年早些時候收到了“幾乎完全是AI Slop報告”。
最高的蟲子慷慨平臺本質上是漏洞賞金黑客與願意付費和獎勵他們在產品及其軟件中找到缺陷的公司之間的中介機構,也看到了AI創建的報告中的峰值。
聯繫我們
您是否有更多有關AI在網絡空間中如何影響行業的信息?我們想收到您的來信。通過設備和非工作網絡,您可以在+1 917 257 1382上的信號安全地與Lorenzo Franceschi-Bicchierai聯繫,或通過Telegram和KeyBase @lorenzofb或電子郵件。
Hackerone的CO -Founder兼高級產品管理經理Michiel Prins告訴TechCrunch,該公司遇到了一些AI Slop。
普林斯說:“我們還發現,虛假的積極點的實際上看起來有所增加,但它是由LLM產生的,沒有真正的影響。” “這些低信號提交會產生噪音,從而破壞安全計劃的有效性。”
Prins補充說,包含“幻覺漏洞,不清楚的技術內容或其他形式的低努力”的報告被視為不必要的”。
Bugcrowd的創始人凱西·埃利斯(Casey Ellis)說,肯定有研究人員使用AI來查找錯誤,並寫下他們隨後提交給公司的報告。埃利斯說,他們每週總共增加了500次提交。
埃利斯告訴TechCrunch:“ AI在大多數提交中都廣泛使用,但尚未引起低質量的“ SLEP”報告。” “這可能將來會升級,但還不在這裡。”
埃利斯(Ellis)說,Bugcrowd團隊分析提交的內容使用既定的劇本和工作流程以及機械學習和“ AI幫助”修訂了手報告。
為了確定其他公司(包括管理自己的Bug Bounty計劃的人)是否也會增加包含LLMS交付的不存在LLMS的報告的邊緣,TechCrunch與Google,Meta,Microsoft和Mozilla接觸。
正在開發Firefox瀏覽器的Mozilla發言人Damiano DeMonte表示,該公司“尚未看到四肢或低質量報告的大幅度增加,這些報告似乎是所有月份的報告。
修改Firefox錯誤報告的Mozilla員工不會使用AI來過濾報告,因為如果沒有拒絕法律錯誤報告的風險,可能很難這樣做。 ” Demonte告訴一封電子郵件。
Microsoft和Meta都是AI的投注公司,都拒絕發表評論。 Google沒有回應評論請求。
Ionescu預測,增加AI SLEP問題的解決方案之一將是繼續投資於AI操作系統,這些系統至少可以執行初步審查並過濾出來以確保准確性。
實際上,第三個,hackerone 發射 Hai Triage,一種新的三角體系統,將人們和人工智能結合在一起。 Hackerone表示,該新系統利用“ AI安全代理人來減少噪音,雙標誌並確定實際威脅的優先級”。然後,人分析師輸入以驗證錯誤報告並根據需求升級。
由於黑客越來越多地使用LLM,並且公司基於AI來對這些報告進行分類,因此仍然需要查看兩個AISS中的哪一個將佔上風。