IllumiNeRF: 3D Relighting without Inverse Rendering

要約

再照明可能なビュー合成の既存の方法（未知の照明の下でオブジェクトの一連の画像を使用して、ターゲット照明の下で新しい視点からレンダリングできる 3D 表現を復元する）は、逆レンダリングに基づいており、オブジェクトのジオメトリを解きほぐそうとします。
、入力画像を説明するマテリアル、照明。
さらに、これには通常、微分可能なモンテカルロ レンダリングによる最適化が含まれますが、これは脆弱で計算コストが高くなります。
この研究では、より単純なアプローチを提案します。まず、照明を条件とした画像拡散モデルを使用して各入力画像を再照明し、次にこれらの再照明画像を使用して神経放射フィールド (NeRF) を再構築し、そこからターゲット照明の下で新しいビューをレンダリングします。
私たちは、この戦略が驚くほど競争力があり、複数の再照明ベンチマークで最先端の結果を達成することを実証します。
https://illuminerf.github.io/ のプロジェクト ページをご覧ください。

要約(オリジナル)

Existing methods for relightable view synthesis — using a set of images of an object under unknown lighting to recover a 3D representation that can be rendered from novel viewpoints under a target illumination — are based on inverse rendering, and attempt to disentangle the object geometry, materials, and lighting that explain the input images. Furthermore, this typically involves optimization through differentiable Monte Carlo rendering, which is brittle and computationally-expensive. In this work, we propose a simpler approach: we first relight each input image using an image diffusion model conditioned on lighting and then reconstruct a Neural Radiance Field (NeRF) with these relit images, from which we render novel views under the target lighting. We demonstrate that this strategy is surprisingly competitive and achieves state-of-the-art results on multiple relighting benchmarks. Please see our project page at https://illuminerf.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google