AI方法使用反向渲染從模擬圖像重建3D場景

在過去的幾十年中，計算機科學家開發了許多可以分析和解釋圖像的計算機工具。事實證明，這些工具對於廣泛的應用程序很有用，包括機器人技術，自動駕駛，醫療保健，生產甚至娛樂。

迄今為止，大多數最有效的計算機視覺方法都依賴於帶有流通的SO宣傳的神經網絡。這些是計算模型，這些模型逐步處理圖像，最終對其進行預測。

儘管發現其中一些模型在測試他們在培訓中分析的數據時效果很好，但在新圖像和不同情況下，它們通常不是很好。此外，它們從圖像中提取的預測和模式可能難以解釋。

普林斯頓大學的研究人員最近開發了一種新的反向渲染方法，該方法更加透明，也可以可靠地解釋各種圖像。文章中提出的新方法 出版 v 自然情報它基於一種基於生成人工智能（AI）的方法來模擬創建圖像的過程，並通過逐步調整模型的內部參數進行了優化。

Tech Xplore文章的高級作者Felix Heide說：“近年來，生成的AI和神經渲染改變了該領域以創建新內容：創建場景中的圖像或視頻。” “我們將研究是否可以將其翻轉並使用這些生成模型從圖像中提取場景的描述。”

海德及其同事開發的新方法是基於所謂的差分渲染。這是依靠生成AI模型創建的壓縮圖像建模圖像創建的過程。

海德解釋說：“我們已經開發了合成分析的方法，這使我們能夠解決視力任務，例如跟踪，作為優化測試時間的任務。” “我們發現，該方法是通過數據集總結的，並且與現有的教學方法不同，不必教授新的數據集。”

實際上，研究人員開發的方法是通過將3D對象的模型放置在具有真實條件形象的虛擬場景中。這些對像模型是根據三維場景的參數的隨機示例生成的。

哈德說：“然後，我們將所有這些對象轉換回2D圖像。” “然後，我們將這個可視化圖像與真實觀察的圖像進行比較。根據它們的不同，我們通過差異化渲染的功能和三維生成模型來維持差異，以更新其入口。只有幾個步驟我們優化了此輸入數據以使可視化更好地使可視化以更好地遵守觀察到的圖像。”

最近對團隊提出的方法的一個值得注意的優勢是，它允許在合成數據中訓練的3D對象的非常一般的生成模型，以執行包含在實際設置中拍攝的圖像的廣泛數據集。此外，模型進行的可視化比基於機器訓練模型的常規渲染工具產生的模型可以解釋得多。

海德說：“我們的反向渲染方法與學習的營養方法相同，但它使我們對其感知到的世界有了明確的3D澄清。”

“另一個有趣的方面是概括的可能性。如果不更改3D代模型，而不是使用新數據進行教學，那麼我們對使用反向神經渲染的傳統跟踪跟踪的三維跟踪對於自動群領導者和對像類型的各種數據集都非常有效。這可以顯著降低新數據或自動標記生產的新數據的成本，從而顯著降低。

這項最近的研究很快可以幫助促進人工智能模型，以提高計算機視覺，改善其在實際條件下的性能，並提高其透明度。現在，研究人員計劃繼續改善其方法，並通過與計算機視覺相關的更多信息開始對其進行測試。

Hyde補充說：“邏輯下一步是將提出的方法擴展到其他感知任務，例如三維檢測和3D分割。” “最終，我們想研究是否有可能使用反向渲染來撤回整個三維場景，而不僅僅是單個對象。這將使我們的未來機器人能夠推理並不斷優化世界上三維模型，這些模型均提供了建造的可理解性。”

©2025科學X網絡