A Diffusion Approach to Radiance Field Relighting using Multi-Illumination Synthesis

要約

放射輝度フィールドの再照明は、単一の照明条件下でキャプチャされることが最も多いマルチビュー データに対しては非常に制約が厳しくなります。
複数のオブジェクトを含む完全なシーンの場合は特に困難です。
我々は、2D 画像拡散モデルから抽出された事前分布を利用することにより、このような単一照明データを使用して再点灯可能な放射輝度フィールドを作成する方法を紹介します。
まず、光の方向によって条件付けされた複数照明データセットの 2D 拡散モデルを微調整することで、単一照明のキャプチャを、直接定義された光の方向から現実的ではあるが、おそらく一貫性のない複数照明データセットに拡張できるようになります。
この拡張データを使用して、3D ガウス スプラットで表される再照明可能な放射輝度フィールドを作成します。
低周波照明の光の方向を直接制御できるようにするために、光の方向でパラメータ化された多層パーセプトロンで外観を表現します。
マルチビューの一貫性を強化し、不正確さを克服するために、画像ごとの補助特徴ベクトルを最適化します。
単一照明下での合成マルチビュー データと実際のマルチビュー データの結果を示し、私たちの方法が 2D 拡散モデルの事前分布をうまく利用して、完全なシーンに対して現実的な 3D 再照明を可能にすることを示しています。
プロジェクトサイト https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/

要約(オリジナル)

Relighting radiance fields is severely underconstrained for multi-view data, which is most often captured under a single illumination condition; It is especially hard for full scenes containing multiple objects. We introduce a method to create relightable radiance fields using such single-illumination data by exploiting priors extracted from 2D image diffusion models. We first fine-tune a 2D diffusion model on a multi-illumination dataset conditioned by light direction, allowing us to augment a single-illumination capture into a realistic — but possibly inconsistent — multi-illumination dataset from directly defined light directions. We use this augmented data to create a relightable radiance field represented by 3D Gaussian splats. To allow direct control of light direction for low-frequency lighting, we represent appearance with a multi-layer perceptron parameterized on light direction. To enforce multi-view consistency and overcome inaccuracies we optimize a per-image auxiliary feature vector. We show results on synthetic and real multi-view data under single illumination, demonstrating that our method successfully exploits 2D diffusion model priors to allow realistic 3D relighting for complete scenes. Project site https://repo-sam.inria.fr/fungraph/generative-radiance-field-relighting/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google