人工智能模型準確再現虛擬人物的服裝動作

在這個時代，人工智能超越了簡單的“可信繪圖”，開始理解為什麼衣服會飄動和皺紋形成。

KAIST 研究團隊開發了一種新的生成人工智能，可以按照物理定律研究三維空間中的運動和交互。該技術克服了現有基於 2D 的 AI 視頻的局限性，有望增強電影、虛擬世界和遊戲中角色的真實感，並顯著減少對動作捕捉或手動 3D 圖形工作的需求。

工作 發表 在 arXiv 預印本服務器。

計算學院Tae-Kyun (TK) Kim教授領導的研究團隊開發了“MPMAvatar”，這是一種空間和物理生成人工智能模型，克服了現有2D像素視頻生成技術的局限性。

為了解決傳統2D技術的問題，研究團隊提出了一種新方法，利用高斯分佈將多視點圖像重建到3D空間，並將其與物理建模技術質點法（MPM）相結合。

換句話說，人工智能被訓練通過立體重建從不同角度拍攝的視頻來自行學習物理定律，並允許該空間中的物體像在真實的物理世界中一樣移動和交互。

這使得人工智能能夠根據物體的材質、形狀和外力來計算運動，然後通過將結果與真實視頻進行比較來學習物理定律。

研究團隊使用點單位表示 3D 空間，並通過將高斯和 MPM 應用於每個點，他們同時實現了物理自然運動和逼真的視頻渲染。

即他們將3D空間劃分為許多小點，迫使每個點像真實物體一樣移動和變形，從而實現與現實幾乎無法區分的自然視頻。

特別是，為了準確表達服裝等薄而復雜的物體的相互作用，他們計算了物體的表面（網格）及其粒子結構（點），並使用質點法（MPM），根據物理定律計算物體在三維空間中的運動和變形。

他們還開發了新的碰撞處理技術，可以真實地渲染服裝或物體在多個位置以復雜方式移動和碰撞的場景。

應用該技術的 MPMAvatar 生成式 AI 模型成功地再現了穿著寬鬆衣服時的真實人體動作和交互，並且還成功實現了零樣本生成，即 AI 處理訓練期間從未見過的數據，自行得出結論。

該方法適用於固體、可變形物體和液體等各種物理屬性，使其不僅適用於頭像，而且適用於生成一般的複雜場景。

Tae-Kyun (TK) Kim 教授解釋道：“這項技術超越了人工智能僅僅畫圖的範疇；它讓人工智能能夠理解‘為什麼’它面前的世界看起來是這個樣子。這項研究展示了‘物理人工智能’理解和預測物理定律的潛力，標誌著邁向 AGI（通用人工智能）的一個重大轉折點。”

他補充道：“預計它將實際應用於更廣泛的沉浸式內容行業，包括虛擬製作、電影、短片內容和廣告，從而帶來重大變化。”

研究團隊目前正在擴展這項技術，開發一種模型，可以僅根據用戶文本輸入生成物理一致的 3D 視頻。