機器人現在可以學習使用工具 – 只是看我們

儘管進步了數十年，但大多數機器人仍在編程中，以針對重複的重複任務進行編程。他們戰鬥意外，無法在不艱難的重新編程的情況下適應新情況。但是，如果他們學會了像孩子一樣自然地使用工具觀看視頻怎麼辦？

我仍然記得我第一次看到一個實驗室的機器人如何將雞蛋變成鍋。這不是預編程。沒有人用操縱桿控制他。機器人只是觀看了一個關於一個人是如何做到的視頻，然後自己做了。對於那個正在考慮如何使機器人更適應很多年的人，這一刻令人興奮。

我們在伊利諾伊大學Urbana-Shampein大學的團隊以及哥倫比亞大學和UT Austin的員工研究了這個問題。機器人可以觀察到有人如何堵塞釘子或挖肉丸，然後找出自己自己做的，沒有昂貴的傳感器，捕獲服裝或遠程電視作用的時間？

這個想法使我們創建了一個我們稱為的新結構”工具作為接口，“ 現在 可訪問 在 arxiv 預印服務器。目標很簡單：教機器人在使用工具方面具有復雜而動態的技能，只不過是關於人們執行日常任務的普通視頻。所需的只是您可以捕獲一對智能手機的兩種類型的動作室。

這就是它的工作方式。該過程始於這兩個視頻幀，視覺模型稱為MAST3R來重建三維場景模型。然後，使用稱為3D高斯噴塗的渲染方法 – 將其視為舞台三維圖片的數字圖片，我們產生了其他觀點，以便機器人可以以不同的角度“查看”任務。

但是，當我們以數字方式將一個人從舞台上撤出時，就會發生真正的魔術。我們的系統使用接地SAM僅將工具及其與環境的相互作用隔離。這與告訴機器人相同：“忽略一個人，只注意工具的作用。”

這個前景“以儀器為導向”是一種秘密成分。這意味著機器人不會試圖通過人的手來複製運動，而是要研究工具本身的確切軌跡和方向。這可以使技能能夠在各種機器人之間傳遞技能，而不論其手或室的配置如何。

我們對五項任務進行了檢查：堵塞指甲，挖一個肉丸，在鍋中旋轉食物，平衡葡萄酒，甚至將足球踢到目標。這些不是選擇和地點的簡單工作；它們需要速度，準確性和適應性。與傳統的電視操作方法相比，儀器接口比成功指標高71％，收集的培訓數據快77％。

我最喜歡的測試之一包括一個機器人，挖一個肉丸，而一個人扔進了大量任務。機器人毫不猶豫地進行了調整。在另一個人中，他在鍋中旋轉了免費的雞蛋，這是一個著名的狡猾動作，用於電視操作。

我的同事兼首席作家霍南·陳（Haonan Chen）說：“我們的方法受到兒童學習的啟發，也就是說，看著成年人。” “他們不需要管理與看待人員相同的工具，他們可以練習這樣的東西。我們想知道我們是否可以在機器人中模仿這種能力。”

這些結果表明，不僅僅是最好的實驗室演示。消除了對專家運營商或專業設備的需求，我們可以想像機器人在智能手機視頻，YouTube上的剪輯甚至眾包人員學習。

領導我們實驗室的凱蒂·德里格·坎貝爾（Katie Drigg-Campbell）說：“儘管機器人周圍有很多炒作，但在大多數任務中，他們仍然受到可靠工作的限制，並且通常比人們要差得多。”

“我們有興趣開發框架和算法，這些框架和算法將使機器人輕鬆地從工程學工作最少的人那裡學習。”

當然，仍然有問題。目前，該系統建議該工具緊密地固定在機器人的捕獲上，這在現實生活中並不總是正確的。有時，它也會在6D姿勢評估中掙扎，如果角度太極端，合成的相機類型可能會失去現實主義。

將來，我們希望使感知系統更加可靠，以便例如觀察某人使用一種類型的筆，然後將此技能應用於各種形狀和尺寸的手柄。

我認為，即使有這些限制，我們也看到了機器人如何從艱苦的編程和自然觀察到的方式進行深刻的轉變。數十億相機已經在寫下人們如何使用工具。使用正確的算法，這些視頻可以成為下一代適應性，有用的機器人的培訓材料。

這項研究在ICRA 2025資金和神經象徵性機器人（NESY）AI的ICRA 2025研討會上獲得了“最佳紙”獎，這是邁向揭示這一潛力的關鍵一步，將視頻的廣闊海洋轉變為一個人的全球培訓圖書館，適用於可以研究和適應孩子的全球培訓圖書館。

這個故事是一部分 科學X對話框研究人員可以在其中報告其發表的研究文章中的結果。 訪問此頁面 獲取有關科學X對話以及如何參與的信息。

Cheng Zhu-Second，《儀器界面：通過模擬使用人類工具的機器人政策》一書的作者，UIUC BS計算機工程，UPENN MSE ROBO