在一項新研究中，蘋果訓練了一個人工智慧模型來識別不屬於原始訓練資料集的手勢。以下是詳細資訊。
什麼是肌電圖？
蘋果在其機器學習研究部落格上發表了一項新研究，題為「EMBridge：透過跨模態表示學習改善肌電圖訊號的手勢泛化」。這項研究將於 4 月在 ICLR 2026 會議上公佈。
在其中，研究人員解釋了他們如何訓練人工智慧模型來識別手勢，即使這些特定的手勢不是原始資料集的一部分。
為了實現這一目標，他們開發了 EMBridge，“一種跨模式表示學習框架，彌合了肌電圖和姿勢之間的模式差距。”
EMG（肌電圖）測量肌肉在收縮過程中產生的電活動。其實際應用範圍從醫學診斷和物理治療到義肢的控制。
最近（儘管這肯定不是一個新領域）它已經開始在穿戴式裝置和 AR/VR 系統中得到更廣泛的探索。
例如，Meta Ray-Ban Display 眼鏡採用了 Meta 所稱的神經帶形式的肌電圖技術，根據該公司的描述，神經帶是一種腕戴式設備，可以「解釋您的肌肉信號以導航 Meta Ray-Ban Display 功能」。
在蘋果公司的研究中，手腕設備沒有檢測到用於訓練的肌電圖訊號。相反，研究人員使用了兩個數據集：
- 肌電圖姿勢：「(…) 一個大型開源 EMG 數據集，包含來自 193 個同意用戶的 370 小時的 sEMG 和同步手部姿勢數據，29 個不同的行為組，包括各種離散和連續的手部動作，例如握緊拳頭或數到五。手部姿勢標籤是使用高分辨率運動捕捉系統生成的。萬個姿勢標籤，其規模與最大的電腦視覺等效項類似。
- 尼娜普 DB2： 「我們使用了兩組 NinaPro EMG 數據來更全面地評估 EMBridge。具體來說，Ninapro DB2 用於預訓練，其中包括來自 40 名受試者的配對 EMG 姿勢數據。它包含 40 名健康受試者執行的 49 個手勢（包括基本的手指捲曲、功能性抓握和組合運動）。的採樣率記錄的，靠近手部。
綜上所述，很容易看出蘋果的 EMBridge 如何為未來的 Apple Watch（或其他穿戴式裝置）控制 Apple Vision Pro、Mac、iPhone 和其他穿戴式裝置（包括傳聞中的未來智慧眼鏡）鋪平道路。
在實踐中，從新的互動方法到改進的可訪問性，機會可能是巨大的。
當然，該研究本身顯然沒有提及任何具體的未來蘋果產品或應用程序，但它確實說了以下內容：
我們的框架的一個潛在的實際應用是穿戴式裝置上的人機互動。在
在 VR/AR 和義肢控制應用等場景中，腕戴式裝置必須持續辨識基於 EMG 的手勢來控制虛擬化身或機械手臂。
什麼是EMBridge？
EMBridge 已成為研究人員彌合真實肌肉 EMG 訊號和結構化手部位置資料之間差距的一種方法。
此模型使用跨模態框架進行訓練，首先根據肌電圖和手部姿勢資料分別進行預訓練。
然後，研究人員將兩個視圖對齊，以便肌電圖編碼器可以從姿勢編碼器中學習。這使得 EMBridge 能夠學習從 EMG 訊號中識別手勢模式。
完成此操作後，他們使用掩蔽姿勢重建來訓練系統，隱藏部分姿勢數據，並要求模型僅使用從肌電圖訊號中提取的資訊來重建它。
結果，正如研究人員所解釋的：
“據我們所知，EMBridge 是第一個跨模式表示學習框架，可根據可穿戴 EMG 訊號提供零和手勢分類，展示了可穿戴設備上真實世界手勢識別的潛力。”
為了減少因將類似手勢視為負面而導致的學習錯誤，研究人員訓練模型識別何時代表相似的手部配置的姿勢，使其能夠為這些姿勢生成軟目標，而不是將它們視為完全不相關。
這有助於建立模型的表徵空間，提高她概括以前從未見過的手勢的能力。
作者在兩個基準測試上評估了 EMBridge：emg2pose 和 NinaPro，發現它始終優於現有方法，特別是在零樣本（或從未見過的）手勢識別方面。值得注意的是，這是僅使用 40% 的訓練資料完成的。
論文中指出的一個重要限制是該模型依賴包含肌電圖訊號和定時手部位置資料的資料集。這意味著它的訓練仍然依賴專門的資料集，而這些資料集可能很難收集。
儘管如此，這項研究還是很有趣，尤其是在基於肌電圖的設備控制似乎正在興起的時候。
有關 EMBridge 的完整技術信息，包括其 Q-Former、MPRL 和 CASCLe 組件，請點擊此連結。
值得在亞馬遜上查看
FTC：我們使用自動會員連結來產生收入。 更多的。
