蘋果研究人員開發了一種人工智能模型，通過將基於擴散的圖像模型直接集成到相機的圖像處理管道中，顯著改善極暗的照片，使其能夠從通常會丟失的原始傳感器數據中恢復細節。他們是這樣做的。
極低光照下的照片問題
您可能是在非常黑暗的條件下拍攝的照片，導致圖像充滿顆粒狀數字噪點。
當圖像傳感器沒有捕獲足夠的光線時就會發生這種情況。
為了彌補這一點，蘋果等公司正在使用圖像處理算法，這些算法因創建過於平滑的效果而受到批評，例如油畫，其中精細的細節消失或被重建為幾乎無法識別或可讀的東西。
輸入 DarkDiff
為了解決這個問題，蘋果和普渡大學的研究人員開發了一種名為 DarkDiff 的模型。他們在一項名為“ DarkDiff：通過重新映射 ISP 相機的擴散模型來提高低光下的原始質量:
對於數碼相機來說，在極低光照條件下進行高質量攝影是一項具有挑戰性但有效的任務。得益於先進的計算硬件，傳統的相機圖像信號處理 (ISP) 算法正逐漸被高效的深度網絡所取代，這些網絡可以更智能地增強噪聲原始圖像。然而，現有的基於回歸的模型通常會最大限度地減少像素錯誤，並導致低光照片或深陰影的過度平滑。最近的工作試圖通過從頭開始訓練擴散模型來解決這一限制，但這些模型仍然難以恢復清晰的圖像細節和準確的顏色。我們提出了一個新的框架，通過使用 ISP 相機重新擬合預先訓練的生成擴散模型來增強原始低光圖像。大量實驗表明，我們的方法在三個具有挑戰性的低光原始圖像測試中的感知質量優於最先進的方法。
換句話說，他們沒有在後處理中應用人工智能，而是重新運行穩定擴散（一種在數百萬張圖像上訓練的開源模型）來了解哪些細節 必須 存在於照片的黑暗區域中，考慮到它們的整體背景，並將其集成到圖像信號處理管道中。
事實上，他們的方法引入了一種計算對圖像局部區域的注意力的機制，這有助於保留局部結構並減輕幻覺，如下圖所示，其中人工智能重建完全改變了圖像的內容。
通過這種方法，相機 ISP 仍會執行理解原始傳感器數據所需的早期處理，包括白平衡和去馬賽克等步驟。然後，DarkDiff 處理該線性 RGB 圖像，消除噪聲並直接創建最終的 sRGB 圖像。
DarkDiff 還使用一種稱為無分類器引導的標準擴散技術，該技術基本上控制模型與其學習的視覺先驗相比應遵循輸入圖像的緊密程度。
較低的指向會產生更平滑的圖案，而增加方向會產生更清晰的紋理和更精細的細節（這反過來也會增加創建不需要的偽影或幻覺內容的風險）。
為了測試 DarkDiff，研究人員使用了索尼 A7SII 等相機在極低光照下拍攝的真實照片，將結果與其他原始增強模型和基於擴散的基線（包括 ExposureDiffusion）進行了比較。
測試圖像是在夜間拍攝的，快門速度僅為 0.033 秒，並將 DarkDiff 的改進版本與使用三腳架以慢 300 倍的快門速度拍攝的參考照片進行了比較。
以下是一些結果（我們建議您查看 完全品質 在原始研究中）：
DarkDiff 並非沒有問題
研究人員指出，他們的基於人工智能的處理速度明顯慢於傳統方法，並且可能需要雲處理來補償高計算需求，這些需求在手機本地運行時會快速耗盡電池。除此之外，他們還注意到在弱光場景中識別非英語文本的局限性。
還需要注意的是，研究中沒有任何地方表明 DarkDiff 將很快登陸 iPhone。然而，這項工作表明了蘋果公司對計算攝影技術進步的持續關注。
近年來，這已成為整個智能手機市場日益重要的關注領域，因為客戶對相機功能的需求超出了公司在其設備中實際安裝的範圍。
要閱讀完整的研究並了解 DarkDiff 和其他降噪方法之間的更多比較， 點擊此鏈接。
亞馬遜上的配飾優惠
FTC：我們使用自動會員鏈接來產生收入。 更多的。
