VF-NeRF: Learning Neural Vector Fields for Indoor Scene Reconstruction

要約

Neural Radiance Field (NeRF) による暗黙的なサーフェスは、サーフェスの再構築において驚くべき精度を示しています。
既存の手法は豊かなテクスチャーのある表面を再構築することに成功しているにもかかわらず、屋内シーンの大部分を占める弱いテクスチャーを持つ平面領域では困難を抱えています。
この論文では、最近提案されたベクトル場 (VF) を暗黙的表現として使用するために、NeRF の重要な側面を再検討することにより、屋内の密な表面の再構築に取り組みます。
VF は、最も近い表面点に向かう単位ベクトルによって定義されます。
したがって、サーフェスで方向を反転し、明示的なサーフェス法線と等しくなります。
この反転を除いて、VF は平面に沿って一定のままであり、平面を表現する際に強力な誘導バイアスを提供します。
具体的には、新しい密度と VF の関係と、ボリューム レンダリングを介して VF を学習できるトレーニング スキームを開発します。これにより、VF-NeRF は大きな平面と鋭い角を正確にモデル化できます。
深度キューが利用可能な場合、私たちの方法はさらに改善され、屋内シーンの再構築と新しいビューのレンダリングにおいて最先端の結果が得られることを示します。
私たちは屋内データセットで VF-NeRF を広範囲に評価し、そのコンポーネントのアブレーションを実行します。

要約(オリジナル)

Implicit surfaces via neural radiance fields (NeRF) have shown surprising accuracy in surface reconstruction. Despite their success in reconstructing richly textured surfaces, existing methods struggle with planar regions with weak textures, which account for the majority of indoor scenes. In this paper, we address indoor dense surface reconstruction by revisiting key aspects of NeRF in order to use the recently proposed Vector Field (VF) as the implicit representation. VF is defined by the unit vector directed to the nearest surface point. It therefore flips direction at the surface and equals to the explicit surface normals. Except for this flip, VF remains constant along planar surfaces and provides a strong inductive bias in representing planar surfaces. Concretely, we develop a novel density-VF relationship and a training scheme that allows us to learn VF via volume rendering By doing this, VF-NeRF can model large planar surfaces and sharp corners accurately. We show that, when depth cues are available, our method further improves and achieves state-of-the-art results in reconstructing indoor scenes and rendering novel views. We extensively evaluate VF-NeRF on indoor datasets and run ablations of its components.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google