Lancelot 的聯邦學習系統結合了加密和強聚合來防止中毒攻擊。

聯邦學習是一種機器學習技術，允許多個人（稱為“客戶端”）一起訓練模型，而無需彼此共享原始訓練數據。這種“協作學習”方法對於訓練機器學習模型特別有用，該模型旨在在金融和醫療保健環境中執行任務，而無需訪問人們的個人數據。

儘管具有潛力，但過去的研究揭示了聯邦學習方法容易遭受所謂的中毒攻擊。這些攻擊涉及惡意用戶提交損壞的數據，這會對模型的性能產生負面影響。

一種建議的最小化損壞數據或更新對模型性能的影響的方法被稱為拜占庭魯棒聯邦學習。這種方法依賴於數學策略來確保忽略不受信任的數據，但它不能防止神經網絡存儲的敏感信息可能被攻擊者恢復的潛在洩漏。

香港中文大學、香港城市大學等機構的研究人員最近開發了一種高效、穩健的拜占庭聯邦學習系統，該系統還融入了先進的密碼技術，從而最大限度地降低惡意攻擊和個人數據洩露的風險。這個新系統被稱為“蘭斯洛特”，於 紙 發表於 自然機器智能。

該論文的第一作者 Xiyang Jiang 告訴 Tech Xplore：“我們著手解決在監管領域中一直遇到的一個問題：聯邦學習可以通過強大的聚合來抵禦攻擊者，而完全同態加密可以使更新保密，但同時執行這兩個操作太慢而無法使用。” “我們的目標是創建一個即使在某些客戶試圖毒害模型時也能保持可靠的系統，從頭到尾對每次更新進行加密，並且速度足以滿足日常工作的需要。”

Lancelot 是由 Jiang 和他的同事開發的系統，它加密存儲本地模型更新，並選擇可信的客戶端更新，而不會向其他人透露他們的選擇。此外，系統需要的計算量更少，僅執行兩個更智能的加密步驟，並確保 GPU 執行更繁重的數學運算。

“簡而言之，Lancelot 解決了聯邦學習中的隱私和安全漏洞，同時顯著減少了訓練時間，”Jiang 解釋道。 “Lancelot 具有三個協同工作的角色。客戶端訓練自己的數據，只發送加密的模型更新。中央服務器遵循規則（誠實）但可能好奇，直接處理加密數據，以測量更新的相似程度並將它們合併。”

在團隊系統中，用於加密和解密數據的密鑰存儲在單獨且受信任的密鑰生成中心中。該中心僅解密根據客戶的可信度對客戶進行排名所需的信息，然後返回加密的“掩碼”（即應包含在模型訓練中的隱藏客戶列表）。最終，這允許服務器收集有效數據來訓練模型，而無需知道選擇了哪些客戶端。

“基本思想是基於掩碼的加密排序：由受信任的權威機構執行排序並僅發回隱藏的選擇，而不是緩慢比較加密數據，”Jiang 說。

為了使系統更快，我們使用兩種簡單但功能強大的加密技術。首先，我們應用惰性重新線性化來減少重新線性化的數量，從而降低計算成本。其次，動態提升對重複操作進行分組和並行化，從而提高執行效率。我們還將多項式乘法等繁重的加密操作卸載到 GPU，以實現大規模並行性。 ”

這些研究人員提出的獨特設計最終確保客戶提交的每一次更新在整個聯邦學習過程中都保持機密。人們發現，這可以保護他們的系統免受惡意或有錯誤的客戶端的侵害，並且還可以顯著減少訓練模型所需的時間。

“我們的工作代表了第一個真正將強大的拜占庭聯邦學習（BRFL）與完全同態加密相結合的實用系統，”Jiang 說。 “我們沒有對加密數據進行大量緩慢的比較，而是使用基於加密掩碼的排序：受信任方對客戶端的更新進行排名並僅返回加密的選擇列表，因此服務器可以組合正確的更新，甚至不需要看到誰被選擇了。兩個簡單的想法在實踐中非常有效：惰性重新線性化將昂貴的加密步驟推遲到最後，動態提升分組並行化重複操作；再加上 在 GPU 上執行大量加密數學計算，這些變化減少了處理時間並更快地在內存中移動數據。”

未來，該研究小組開發的強大的拜占庭聯邦學習系統可用於訓練各種應用的模型。特別是，這可能有助於開發人工智能工具，從而提高醫院、銀行和存儲敏感信息的其他各種組織的運營效率。 Jiang和他的同事現在正在努力進一步改進仍處於試點階段的Lancelot，以便能夠在現實世界中擴大規模和部署。

Jiang 補充道：“與此同時，我們正在探索閾值和多密鑰 CKKS，以在不增加吞吐量或延遲的情況下加強信任模型，從而保持拜占庭可信聯邦學習的大規模實用性。” “我們還在深化與差分隱私的結合，並添加異步和集群聚合，以確保系統優雅地處理高度異構的客戶端和不穩定的網絡。”

© 2025 科學 X 網絡