S-NeRF: Neural Radiance Fields for Street Views

要約

Neural Radiance Fields (NeRFs) は、オブジェクト中心のカメラ ビューに大きなオーバーラップがある場合に、オブジェクトとシーンの新しいビューを合成することを目的としています。
ただし、このパラダイムは、大規模な無限のシーンから多くの自動運転車によって収集されるストリート ビューの性質に適合しないと考えています。
また、車載カメラはシーンをあまりオーバーラップせずに認識します。
したがって、既存の NeRF では、ストリート ビューの合成時にブラー、「フローター」、およびその他のアーティファクトが生成されることがよくあります。
この論文では、大規模な背景シーンと前景の移動車両の両方の新しいビュー合成を共同で考慮する新しいストリートビュー NeRF (S-NeRF) を提案します。
具体的には、ストリートビューからより良いニューラル表現を学習するために、シーンのパラメーター化機能とカメラのポーズを改善します。
また、ノイズが多くまばらな LiDAR ポイントを使用してトレーニングを強化し、堅牢なジオメトリと再投影ベースの信頼性を学習して、深度の外れ値に対処します。
さらに、S-NeRF を拡張して、従来の NeRF では実行不可能な移動車両を再構築します。
大規模な運転データセット (nuScenes や Waymo など) での徹底的な実験では、ストリートビュー合成の平均二乗誤差を 7% から 40% 削減することで、最先端の競合他社を打ち負かすことが実証されています。
移動車両のレンダリングで 45% の PSNR ゲイン。

要約(オリジナル)

Neural Radiance Fields (NeRFs) aim to synthesize novel views of objects and scenes, given the object-centric camera views with large overlaps. However, we conjugate that this paradigm does not fit the nature of the street views that are collected by many self-driving cars from the large-scale unbounded scenes. Also, the onboard cameras perceive scenes without much overlapping. Thus, existing NeRFs often produce blurs, ‘floaters’ and other artifacts on street-view synthesis. In this paper, we propose a new street-view NeRF (S-NeRF) that considers novel view synthesis of both the large-scale background scenes and the foreground moving vehicles jointly. Specifically, we improve the scene parameterization function and the camera poses for learning better neural representations from street views. We also use the the noisy and sparse LiDAR points to boost the training and learn a robust geometry and reprojection based confidence to address the depth outliers. Moreover, we extend our S-NeRF for reconstructing moving vehicles that is impracticable for conventional NeRFs. Thorough experiments on the large-scale driving datasets (e.g., nuScenes and Waymo) demonstrate that our method beats the state-of-the-art rivals by reducing 7% to 40% of the mean-squared error in the street-view synthesis and a 45% PSNR gain for the moving vehicles rendering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google