到計算機 去年10月，在弗吉尼亞州阿靈頓舉行的安全會議，幾十個AI研究人員參加了“紅色分組”的第一次練習，或測試一種切割 – 邊緣語言和其他人工智能係統的模型。在這兩天中，團隊確定了139種新的方法來包括系統，包括生產錯誤信息或個人數據的洩漏。最重要的是，它們顯示了旨在幫助公司測試AI系統的新的美國政府模型中的缺陷。
美國國家標準技術研究所（NIST）沒有發布詳細介紹該練習的報告，該報告已完成，該練習已在拜登（Biden）政府結束時完成。該文件可能幫助公司評估了自己的AI系統，但是熟悉情況的消息來源，他們在匿名的情況下發表了講話，他說這是NIST的眾多AI文件之一，因為他們擔心與即將到來的政府發生衝突。
當時的NIST消息人士說：“即使在（總統喬）拜登（Joe Biden）（總統喬）下，也變得非常困難。” “我非常喜歡對氣候變化或香煙研究的研究。”
NIST和貿易部門均未回應評論請求。
在接任職責之前，唐納德·特朗普總統標誌著他打算顛倒 拜登的執行指揮到AI。從那時起，特朗普的政府指示專家擺脫研究AI系統中算法偏見或正義等問題。這 行動計劃AI 它於7月發布，明確要求對NIST AI風險管理框架進行修訂，以“消除錯誤信息的報告，多樣性，平等和整合以及氣候變化”。
具有諷刺意味的是，特朗普的人工智能行動計劃還需要精確的鍛煉類型，未發表的曝光範圍。它呼籲許多具有NIST的組織“協調一項AI Hackathon計劃，要求比美國學者更能獲得最佳和最明亮的倡議，以測試AI系統的透明度，效率，使用和安全性脆弱性”。
紅色團隊活動是通過與專門從事AI Systems測試的公司Humane Intelligence合作的AI計劃（ARIA）的風險和影響的評級來組織的。該活動在CAMLIS的應用機器學習會議上舉行。
Camlis Red Teaming展覽描述了探索幾種AI切割邊緣系統的努力，包括Meta的大型語言模型Llama。 Anote，一個用於AI模型的構建和改進的平台。一個將AI系統攻擊的系統從Cisco收購的一家強大情報中。以及通過合成創建AI AVATAR的平台。來自每個公司的代表也參與了練習。
要求參與者使用 nist你有600-1 評估AI工具的框架。該框架涵蓋了風險類別，包括創建錯誤信息或網絡攻擊，有關相關AI系統的私人信息洩漏或關鍵信息以及用戶與AI工具的情感連接的能力。
研究人員發現了測試模型和工具的各種技巧，以跳高保護者並創建錯誤信息，洩漏個人數據並幫助網絡攻擊。該報告指出，相關人員認為NIST框架的某些要素比其他框架更有用。該報告指出，NIST的一些風險類別尚未得到充分確定在實踐中有用。
