新工具使用3D場景建模為照片提供直接照明控制

在視覺敘事方面，照明起著決定性的作用。無論是電影還是照片，創作者都花了無數的時間和通常的預算，為他們的鏡頭創造了完美的照明。但是拍攝照片或視頻後，照明基本上是固定的。之後，恢復，稱為“ Perestroika”的任務通常需要合格藝術家的多次手動作品。

儘管某些生成工具正在嘗試完成此任務，但它們依靠大型神經網絡和數十億個培訓圖像來猜測光如何與舞台相互作用。但是這個過程通常是黑匣子。用戶無法直接控制照明或了解如何獲得結果，通常會導致不可預測的結果，這些結果可能會偏離場景的初始內容。獲得可以假定的結果通常需要快速的工程師，示例和錯誤，以防止用戶的創造力。

在今年在溫哥華舉行的Siggraph會議上發表的新文章中，SFU計算機照片中的研究人員為變革提供了不同的方法。他們的工作”物理控制的照片設備“它可以在計算機圖形軟件（例如Blender或Unreal Engine）中對燈光進行明顯的控制，以編輯圖像和照片。

鑑於照片，該方法始於對場景的3D版本的評估。這個三維模型是舞台表面的形狀和顏色，同時有意離開照明。由於以前的工作，包括以前開發的計算機照相實驗室研究，使這三維演示的創建成為可能。

“在創建了3D場景之後，用戶可以將虛擬光源放入其中，例如用於3D建模的真實照相工作室或軟件，”哲學博士Chris Karega解釋說。 SFU的學生和作品的主要作者。 “然後，我們使用已建立的計算機圖形方法來互動模擬由用戶確定的光源。”

Careaga解釋說，結果是在新照明下對場景進行了粗略的初步觀看，但它本身並不逼真。在這項新作品中，研究人員開發了一個神經網絡，可以將這種粗糙的初步觀點變成現實的照片。

Careaga補充說：“使我們的方法與眾不同的是，它為用戶提供了您在3D工具（例如攪拌機或虛幻引擎）中期望的相同類型的照明控制。” “對燈進行建模，我們保證我們的結果是對所需用戶照明的物理準確執行。”

他們的方法使您可以將新的光源插入圖像中，並使它們與場景實際相互作用。結果是能夠創建重新保存圖像的能力，以前無法實現。

重組團隊的系統目前正在使用靜態圖像，但是團隊對將來擴展視頻功能感興趣，這將使它成為VFX藝術家和董事的寶貴工具。

Yages Aksaeus博士解釋說：“隨著這項技術的不斷發展，它可以節省獨立的電影製片人和內容的創作者。” “與其重新思考購買昂貴的照明設備或場景，還可以在事實後在照明上做出現實的改變，而無需使用AI的生成模型過濾其創意視覺。”

本文是計算攝影實驗室的一系列研究項目中的最後一篇。該小組對內部分解的較早工作為他們的新Perestroika方法奠定了基礎，他們破壞了視頻說明中所有這些結合的方式。

您可以了解有關計算照片實驗室的研究的更多信息 網頁場地