TraM-NeRF: Tracing Mirror and Near-Perfect Specular Reflections through Neural Radiance Fields

要約

Neural Radiance Fields (NeRF) のような暗黙的表現は、詳細が細かい複雑なシーンのフォトリアリスティックなレンダリングで印象的な結果を示しました。
ただし、さまざまな屋内シーンで頻繁に遭遇する鏡などの理想的またはほぼ完全に鏡面反射するオブジェクトは、再構成されたシーンの表現に曖昧さと不一致をもたらし、合成されたレンダリングに深刻なアーティファクトを引き起こします。
この論文では、標準的なパス トレースによる直接的だが高価な拡張のコストを回避しながら、これらの鏡のようなオブジェクトを考慮に入れる、NeRF 内でのボリューム レンダリングに合わせた新しい反射トレース方法を紹介します。
物理的に妥当な材料を使用して反射挙動を明示的にモデル化し、ボリューム レンダリング公式内でモンテカルロ法を使用して反射放射輝度を推定することにより、重要度のサンプリングと、わずかなサンプルからの光線に沿った透過率の計算のための効率的な戦略を導き出します。
私たちの新しい方法により、このような困難なシーンの一貫した表現のトレーニングが可能になり、以前の最先端のアプローチと比較して優れた結果が得られることを示します。

要約(オリジナル)

Implicit representations like Neural Radiance Fields (NeRF) showed impressive results for photorealistic rendering of complex scenes with fine details. However, ideal or near-perfectly specular reflecting objects such as mirrors, which are often encountered in various indoor scenes, impose ambiguities and inconsistencies in the representation of the reconstructed scene leading to severe artifacts in the synthesized renderings. In this paper, we present a novel reflection tracing method tailored for the involved volume rendering within NeRF that takes these mirror-like objects into account while avoiding the cost of straightforward but expensive extensions through standard path tracing. By explicitly modeling the reflection behavior using physically plausible materials and estimating the reflected radiance with Monte-Carlo methods within the volume rendering formulation, we derive efficient strategies for importance sampling and the transmittance computation along rays from only few samples. We show that our novel method enables the training of consistent representations of such challenging scenes and achieves superior results in comparison to previous state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google