Planar Reflection-Aware Neural Radiance Fields

要約

Neural Radiance Fields (NeRF) は、複雑なシーンを高い忠実度で再構築する際に優れた機能を実証しました。
ただし、NeRF のビュー依存関係は低周波反射のみを処理できます。
複雑な平面反射を処理する場合は不十分であり、多くの場合、それらを誤ったシーン ジオメトリとして解釈し、重複した不正確なシーン表現につながります。
この課題に対処するために、窓などの平面反射体を共同でモデル化し、反射光線を明示的に投射して高周波反射の発生源を捕捉する、反射対応 NeRF を導入します。
単一の放射輝度フィールドをクエリして、原色と反射源をレンダリングします。
同じ深さで主光線に沿って複製を作成するのではなく、平面反射をレンダリングするために真の反射源を利用できるようにするために、スパース エッジ正則化を提案します。
その結果、正確なシーン ジオメトリが得られます。
主光線に沿ってレンダリングすると、クリーンで反射のないビューが得られますが、反射光線に沿って明示的にレンダリングすると、非常に詳細な反射を再構築できます。
現実世界のデータセットに対する広範な定量的および定性的評価により、反射を正確に処理する際のこの手法のパフォーマンスが向上していることが実証されています。

要約(オリジナル)

Neural Radiance Fields (NeRF) have demonstrated exceptional capabilities in reconstructing complex scenes with high fidelity. However, NeRF’s view dependency can only handle low-frequency reflections. It falls short when handling complex planar reflections, often interpreting them as erroneous scene geometries and leading to duplicated and inaccurate scene representations. To address this challenge, we introduce a reflection-aware NeRF that jointly models planar reflectors, such as windows, and explicitly casts reflected rays to capture the source of the high-frequency reflections. We query a single radiance field to render the primary color and the source of the reflection. We propose a sparse edge regularization to help utilize the true sources of reflections for rendering planar reflections rather than creating a duplicate along the primary ray at the same depth. As a result, we obtain accurate scene geometry. Rendering along the primary ray results in a clean, reflection-free view, while explicitly rendering along the reflected ray allows us to reconstruct highly detailed reflections. Our extensive quantitative and qualitative evaluations of real-world datasets demonstrate our method’s enhanced performance in accurately handling reflections.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google