NeRF for Outdoor Scene Relighting

要約

写真から屋外シーンをフォトリアリスティックに編集するには、画像形成プロセスを深く理解し、シーンのジオメトリ、反射率、照明を正確に推定する必要があります。
次に、シーンのアルベドとジオメトリを変更せずに、照明の繊細な操作を実行できます。
NeRF-OSR、つまり、神経放射輝度フィールドに基づく屋外シーンの再照明の最初のアプローチを紹介します。
従来技術とは対照的に、我々の技術は、制御されていない設定で撮影された屋外写真のコレクションのみを使用して、シーン照明とカメラ視点の両方の同時編集を可能にする。
さらに、球面調和関数モデルで定義されているように、シーンの照明を直接制御できます。
評価のために、複数の視点から異なる時間に撮影されたいくつかの屋外サイトの新しいベンチマークデータセットを収集します。
毎回、360度の環境マップがカラーキャリブレーションチェッカーボードとともにキャプチャされ、グラウンドトゥルースに対する実際のデータの正確な数値評価が可能になります。
SoTAとの比較により、NeRF-OSRは、制御可能な照明と視点の編集をより高品質で、リアルなセルフシャドウ再現で実現できることが示されています。
私たちの方法とデータセットはhttps://4dqv.mpi-inf.mpg.de/NeRF-OSR/で公開されています。

要約(オリジナル)

Photorealistic editing of outdoor scenes from photographs requires a profound understanding of the image formation process and an accurate estimation of the scene geometry, reflectance and illumination. A delicate manipulation of the lighting can then be performed while keeping the scene albedo and geometry unaltered. We present NeRF-OSR, i.e., the first approach for outdoor scene relighting based on neural radiance fields. In contrast to the prior art, our technique allows simultaneous editing of both scene illumination and camera viewpoint using only a collection of outdoor photos shot in uncontrolled settings. Moreover, it enables direct control over the scene illumination, as defined through a spherical harmonics model. For evaluation, we collect a new benchmark dataset of several outdoor sites photographed from multiple viewpoints and at different times. For each time, a 360 degree environment map is captured together with a colour-calibration chequerboard to allow accurate numerical evaluations on real data against ground truth. Comparisons against SoTA show that NeRF-OSR enables controllable lighting and viewpoint editing at higher quality and with realistic self-shadowing reproduction. Our method and the dataset are publicly available at https://4dqv.mpi-inf.mpg.de/NeRF-OSR/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google