新的建模系統為機器人手和手生成了數千個培訓示例

當Chatgpt或Gemini給出燃燒問題的專家答案時，您可能不會意識到它基於哪種信息來給出這個答案。與其他流行的生成人工智能（AI）模型一樣，這些聊天依賴於高速公路，稱為基礎模型，這些模型在數十億甚至數万億個數據點中研究。

同樣，工程師希望建立基礎模型，以教導許多機器人的新技能，例如在房屋和工廠等地方收集，移動和抑制物體。問題在於，很難在機器人系統中收集和傳輸培訓數據。您可以使用虛擬現實（VR）等技術來教您的系統，硬件步驟 – 按步驟級別的電視操作，但可能會很費力。從互聯網上的互聯網教學較不啟發性，因為剪輯沒有提供一步，專業任務，通過某些機器人的段落。

該方法基於模擬，稱為MIT和人工智能實驗室（CSAIL）的實驗室，機器人和AI研究所設置了培訓機器人的數據，以幫助機器人找到最有效的任務運動。該系統可以將幾十個VR演示乘以每輛汽車的近3000個建模。然後以機械合作夥伴（例如機器人的手和手）的確切配置顯示這些高質量的說明。

PhysicsGen創建了使用三階段過程為特定機器人和條件進行概括的數據。首先，VR耳機監視人們如何用手操縱塊之類的物體。這些相互作用同時顯示在3D物理學家中，將我們手的關鍵時刻視為反映我們手勢的小球。例如，如果您已經轉過玩具，您將看到3D表單代表手的各個部分，這些部分旋轉該對象的虛擬版本。

然後，管道將這些點提供給特定機器設置的3D模型（例如，機器人手），將它們移至系統旋轉並旋轉的確切“關節”。最後，PhysicsGen使用軌蹟的優化 – 實際上，對完成任務的最有效運動進行建模 – 因此，機器人知道使諸如移動盒子之類的最佳方法。

每個建模是使用潛在處理對象的潛在方法通過機器人進行詳細的數據訓練點。當引入政治（或遵循機器人的行動計劃）時，機器有許多方法可以處理任務，如果某人不起作用，它可以嘗試不同的動作。

MIT哲學博士Luji Yang說：“我們創建了針對機器人的數據，而不是需要為每台機器重新註冊專業演示。”電氣工程和計算機科學和Csail分支的學生，這是新的領先作者 紙 發表在 arxiv 進入項目的預印式服務器。 “我們以自主和有效的方式擴展數據，對任務進行說明，可用於更廣泛的機器。”

為機器人創建如此多的訓練軌跡最終可以幫助工程師為機器人手和靈巧的手等機器的方向創建大量數據。例如，管道可以幫助兩種合作的機器人武器，以收集倉庫對象並將其放在正確的盒子中以進行交付。該系統還可以指示兩個機器人在家庭中共同處理諸如拆卸杯子之類的任務。

PhysicsGen電位還適用於舊機器人或各種環境的數據轉換，用於新機器的有用指令。楊補充說：“儘管我們收集了某種類型的機器人，但我們可以恢復這些先前的數據集以使其更有用。”

通過乘法添加

Physicsg僅將一個人的24個演示變成了數千個模擬，幫助數字機器人和真實的機器人重新定位對象。

楊和她的同事在虛擬實驗中首先檢查了他們的管道，在該實驗中，浮動的機器人手應該將塊變成目標位置。數字機器人以81％的精度完成了這項任務，並在大量募集物理數據方面研究了這項任務，與基線相比，該任務的物理數據已提高了60％，這僅在人類的示範中學到了。

研究人員還發現，Physicsg可以改善虛擬機器人武器如何配合操縱物體。他們的系統創建了其他教育數據，這些數據幫助兩個機器人成功地完成任務的頻率比在公共場合的基本人數高30％。

在對現實世界中一對機器人武器的實驗中，研究人員在汽車聯合以將一個大盒子變成其指定位置時觀察到了類似的改進。當機器人偏離所謂的軌跡或錯誤地處理對象時，他們能夠恢復任務的中間，並指的是從其教育數據庫中的替代軌跡。

Russa Tedrake的高級作者是電氣工程和計算機科學，航空和宇航員Toyota的教授，以及MIT的工程學，並補充說，這種在模仿中生成數據的方法結合了一個人的強度與機器人計划算法的力量相結合。

Tedrake說：“即使是一個人的一次演示也可以極大地促進交通規劃問題。 “將來，也許基礎模型將能夠提供此信息，並且這種類型的數據生成方法將在培訓此模型後提供食譜類型。 ”

未來物理學

很快，可以將PhysicsGen擴展到新的邊界：機器可以執行的任務的多元化。

楊說：“例如，我們想使用物理學來教機器人在教授水時倒水以倒水。” “我們的管道不僅可以為熟悉的任務生成動態可行的動作；它還具有創建各種物理互動庫的潛力，我們認為，該庫可以用作執行一個人沒有證明的全新任務的基礎。”

許多廣泛適用的培訓數據的創建最終可以幫助為機器人創建基礎模型，儘管麻省理工學院的研究人員警告說，這是一個遙不可及的目標。由CSAIL領導的團隊探索了PhysicsGen如何使用廣泛的非結構化資源，例如Internet視頻高估種子進行建模。目的：將日常的視覺內容轉換為可以訓練機器的富含，準備好的數據的數據，以執行沒有人清楚地顯示它們的任務。

楊和她的同事們也努力使物理學對將來具有各種形式和配置的機器人更有用。為此，他們計劃使用帶有真正機器人演示的數據集，以捕獲機器人關節的移動而不是人類的移動方式。

研究人員還計劃包括加強培訓，其中AI系統通過測試和錯誤進行研究，以便物理學將其數據集擴展到人提供的示例之外。他們可以使用先進的感知方法來增加管道，以幫助機器人視覺看待和解釋其環境，從而使機器分析並適應物理世界的困難。

目前，Physicsgen展示了AI如何幫助我們教不同的機器人來操縱同一類別（尤其是硬構）中的物體。管道很快可以幫助機器人找到處理軟體對象（例如水果）和變形（例如粘土）的最佳方法，但是這些交互並不容易模擬。

這個故事重印為麻省理工學院新聞（web.mit.edu/newsoffice/），一個受歡迎的網站，涵蓋有關研究，創新和麻省理工學院教學的新聞。