Neural Gaffer: Relighting Any Object via Diffusion

要約

単一イメージのリライティングは、ジオメトリ、マテリアル、ライティングの間の複雑な相互作用について推論する必要がある難しいタスクです。
従来の方法の多くは、ポートレートなどの特定のカテゴリの画像のみをサポートするか、懐中電灯の使用などの特別なキャプチャ条件を必要とします。
あるいは、一部の方法では、シーンを法線や BRDF などの固有のコンポーネントに明示的に分解しますが、これらのコンポーネントは不正確または表現力が不十分になる可能性があります。
この研究では、Neural Gaffer と呼ばれる新しいエンドツーエンド 2D リライティング拡散モデルを提案します。このモデルは、任意のオブジェクトの単一画像を取得し、新しい環境照明条件下で正確で高品質のリライティング画像を合成できます。
明示的なシーン分解を行わずに、ターゲット環境マップ上でイメージ ジェネレーターを調整します。
私たちの手法は、事前にトレーニングされた拡散モデルに基づいて構築され、合成再照明データセットに基づいて微調整され、拡散モデルに存在する照明の固有の理解を明らかにして活用します。
私たちは合成画像と実際のインターネット画像の両方でモデルを評価し、一般化と精度の点でその利点を実証します。
さらに、他の生成手法と組み合わせることで、私たちのモデルは、テキストベースの再照明やオブジェクトの挿入など、多くの下流 2D タスクを可能にします。
私たちのモデルは、放射フィールドの再照明など、3D タスクの事前の強力な再照明としても機能します。

要約(オリジナル)

Single-image relighting is a challenging task that involves reasoning about the complex interplay between geometry, materials, and lighting. Many prior methods either support only specific categories of images, such as portraits, or require special capture conditions, like using a flashlight. Alternatively, some methods explicitly decompose a scene into intrinsic components, such as normals and BRDFs, which can be inaccurate or under-expressive. In this work, we propose a novel end-to-end 2D relighting diffusion model, called Neural Gaffer, that takes a single image of any object and can synthesize an accurate, high-quality relit image under any novel environmental lighting condition, simply by conditioning an image generator on a target environment map, without an explicit scene decomposition. Our method builds on a pre-trained diffusion model, and fine-tunes it on a synthetic relighting dataset, revealing and harnessing the inherent understanding of lighting present in the diffusion model. We evaluate our model on both synthetic and in-the-wild Internet imagery and demonstrate its advantages in terms of generalization and accuracy. Moreover, by combining with other generative methods, our model enables many downstream 2D tasks, such as text-based relighting and object insertion. Our model can also operate as a strong relighting prior for 3D tasks, such as relighting a radiance field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google