Depth-supervised NeRF: Fewer Views and Faster Training for Free

要約

Neural Radiance Field (NeRF) でよく観察される障害モードは、入力ビューの数が不十分な場合に不正確なジオメトリをフィッティングすることです。
考えられる理由の 1 つは、標準のボリューム レンダリングでは、シーンのジオメトリのほとんどが空のスペースと不透明なサーフェスで構成されるという制約を強制していないことです。
我々は、DS-NeRF (深度監視ニューラル放射輝度フィールド) を通じて上記の仮定を形式化します。これは、すぐに利用できる深度監視を利用した放射輝度フィールドの学習の損失です。
現在の NeRF パイプラインには、通常、Structure-From-Motion (SFM) を実行することによって推定される既知のカメラ ポーズの画像が必要であるという事実を利用します。
重要なことに、SFM はトレーニング中に「無料」深度監視として使用できるまばらな 3D ポイントも生成します。深度の不確実性を組み込んで、レイの終端深度の分布が特定の 3D キーポイントと一致することを促進するために損失を追加します。
DS-NeRF は、トレーニング ビューが少なくても、トレーニングを 2 ～ 3 倍高速にしながら、より良い画像をレンダリングできます。
さらに、我々の損失が他の最近提案された NeRF 手法と互換性があることを示し、深度が安価で容易に消化できる監視信号であることを示しています。
そして最後に、DS-NeRF がスキャンされた深度センサーや RGB-D 再構成出力など、他のタイプの深度監視をサポートできることがわかりました。

要約(オリジナル)

A commonly observed failure mode of Neural Radiance Field (NeRF) is fitting incorrect geometries when given an insufficient number of input views. One potential reason is that standard volumetric rendering does not enforce the constraint that most of a scene’s geometry consist of empty space and opaque surfaces. We formalize the above assumption through DS-NeRF (Depth-supervised Neural Radiance Fields), a loss for learning radiance fields that takes advantage of readily-available depth supervision. We leverage the fact that current NeRF pipelines require images with known camera poses that are typically estimated by running structure-from-motion (SFM). Crucially, SFM also produces sparse 3D points that can be used as ‘free’ depth supervision during training: we add a loss to encourage the distribution of a ray’s terminating depth matches a given 3D keypoint, incorporating depth uncertainty. DS-NeRF can render better images given fewer training views while training 2-3x faster. Further, we show that our loss is compatible with other recently proposed NeRF methods, demonstrating that depth is a cheap and easily digestible supervisory signal. And finally, we find that DS-NeRF can support other types of depth supervision such as scanned depth sensors and RGB-D reconstruction outputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google