Diffusion Reflectance Map: Single-Image Stochastic Inverse Rendering of Illumination and Reflectance

要約

反射率は、オブジェクトの外観における照明の周波数スペクトルを制限します。
この論文では、単一の画像から照明の全周波数スペクトルを物体の反射率と合わせて復元する、最初の確率的逆レンダリング法を紹介します。
私たちの重要なアイデアは、拡散反射率マップ ネットワーク (DRMNet) と呼ばれる新しい拡散モデルを使用して画像形成を逆転する方法を学習することによって、基礎となるジオメトリに不変の外観表現である反射率マップにおけるこのブラインド逆問題を解決することです。
単一の入力画像から変換され完成された観測反射率マップが与えられると、DRMNet は反射率を共同推定しなが​​ら、完全な鏡面球に対応する反射率マップを生成します。
順方向のプロセスは、より低い周波数の反射率と追加のガウス ノイズを使用して自然照明を徐々にフィルタリングすることとして理解できます。
DRMNet は、この共同推定に向けて連携して動作する 2 つのサブネットワーク、IllNet と RefNet を使用して、このプロセスを逆にすることを学習します。
このネットワークは広範な合成データセットでトレーニングされ、実際の画像に一般化することが実証され、確立されたデータセットで最先端の精度を示します。

要約(オリジナル)

Reflectance bounds the frequency spectrum of illumination in the object appearance. In this paper, we introduce the first stochastic inverse rendering method, which recovers the full frequency spectrum of an illumination jointly with the object reflectance from a single image. Our key idea is to solve this blind inverse problem in the reflectance map, an appearance representation invariant to the underlying geometry, by learning to reverse the image formation with a novel diffusion model which we refer to as the Diffusion Reflectance Map Network (DRMNet). Given an observed reflectance map converted and completed from the single input image, DRMNet generates a reflectance map corresponding to a perfect mirror sphere while jointly estimating the reflectance. The forward process can be understood as gradually filtering a natural illumination with lower and lower frequency reflectance and additive Gaussian noise. DRMNet learns to invert this process with two subnetworks, IllNet and RefNet, which work in concert towards this joint estimation. The network is trained on an extensive synthetic dataset and is demonstrated to generalize to real images, showing state-of-the-art accuracy on established datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google