這款數字手可實現免提虛擬現實

語音控制的數字手可以通過允許免提使用遊戲和應用程序來提高虛擬和增強現實的可用性和可訪問性。該軟件原型是由密歇根大學的計算機科學家開發的。

研究人員的軟件名為 HandProxy，允許 VR 和 AR 用戶通過控制無形的手來與數字空間進行交互。用戶可以讓自己的手抓取和移動虛擬對象、拖動窗口並調整窗口大小，以及執行豎起大拇指等手勢。得益於 ChatGPT 核心人工智能模型 GPT-4o 的解釋功能，它甚至可以執行“清理桌子”等複雜任務，而無需報告中間的每一步。

手部能夠獨立動態分析複雜任務的能力使其比當前的 VR 語音命令功能更加靈活，當前的 VR 語音命令功能僅限於簡單的系統級任務，例如打開和滾動菜單或應用程序或遊戲中的預定義命令。

“移動設備支持輔助技術，提供替代輸入模式和自動用戶界面控制，包括 Siri 等 AI 驅動的任務助手。但 VR 和 AR 手部交互基本上不具備這種功能，”莫里斯·威爾曼計算機科學與工程系助理教授郭安紅說。

“HandProxy 是我們試圖讓用戶能夠在虛擬和增強現實的多種交互模式之間無縫轉換的能力，包括控制器、手勢和語音，”郭說，他也是描述該軟件的研究的作者。 發表 V ACM 互動、移動、可穿戴和普適技術會議論文集。

VR 愛好者稱讚其 潛水。用戶希望身處虛擬空間內部，而不僅僅是從外部觀看。據他們稱，好處包括製作遊戲 更精彩 到 醫生和外科醫生的培訓 無需冒生命危險。

最大化物理真實感是消除懷疑的關鍵，這就是該行業轉向通過手持攝像頭和手套進行觸覺監控的原因。但對於某些人和情況來說，關注真實的手部動作並不是理想的方法。 VR 用戶在狹小的空間中可能沒有足夠的空間來執行複雜的手勢，而 AR 用戶可能需要在雙手忙於做飯或清潔時導航小顯示屏。

對於有運動障礙或其他殘疾的用戶來說，嚴格依賴手勢變得更加負擔。據《科學美國人》報導，患有肌肉萎縮症和腦癱的人很難使用虛擬現實。觸覺動作甚至可能會阻止一些患有慢性病的用戶使用 VR。一位 Reddit 用戶表示，慢性病使他們無法享受重複擺動動作的遊戲，他們懷疑 VR 是否適合他們。 HandProxy 可以幫助使虛擬現實變得更加方便和易於訪問。

“如果有任何內置物理機制（對於大多數遊戲和 VR 應用程序來說都是如此），HandProxy 就可以與它們進行交互，”該研究的第一作者、密歇根大學計算機科學與工程專業研究生陳亮說。 “我們的虛擬手提供與用戶的手相同的數字信號，因此開發人員不必專門為我們的系統在他們的程序中添加一些東西。”

一些試用用戶已經對該工具的潛力充滿熱情。在這項研究中，20 名參與者被要求重複演示視頻中的任務，然後自由探索 HandProxy 的功能 10 分鐘。一些參與者很高興有一個虛擬替身，他們可以“正常、直觀地與之交談”。但令研究人員驚訝的是，其他參與者對手可以執行“不限於物理世界”的更抽象任務的想法感到更加興奮。

“它可以充當代理：用戶給它一個高級命令，例如‘組織我的工作空間’，它就會找到一種方法來排序和關閉所有打開的窗口，”梁說。

實施的一個障礙是手有時會誤解用戶命令。在這項研究中，HandProxy 被要求完成 781 項任務，儘管它在一到四次嘗試內正確完成了大多數任務，但有 64 次嘗試失敗了。例如，當一個用戶說“棕色物體”時，該程序沒有意識到他指的是數字購物車，並且當被要求“喜歡照片”時，該程序不知道按下心形按鈕。

研究人員目前正在研究如何幫助該程序在不採取太多自由的情況下解釋模棱兩可的語音。一位研究參與者提出了一個可能的解決方案：讓手提問並回答問題。