CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations

要約

近年のニューラル・ラディアンス・フィールド（NeRF）の進歩は、最先端の新規ビュー合成を達成し、シーン特性の高密度な推定を容易にする。しかし、NeRFは、フィールドロボットのアプリケーションに典型的に見られるように、シーンコンテンツがカメラから遠くに集中している非常に疎なビューの下で撮影される大規模で無限のシーンに対しては、しばしば失敗する。特に、(1)姿勢の多様性に乏しい不十分なビュー、(2)シーンに彩度や影がある場合、(3)微細構造を持つ大きな非束縛シーンを細かくサンプリングすると計算量が多くなる場合、NeRFスタイルのアルゴリズムはうまく機能しません。 本論文では、CLONeRを提案し、NeRFを大幅に改善し、疎な入力センサビューから観測される大規模な屋外走行シーンをモデル化することを可能にする。これは、NeRFのフレームワークの中で、占有率と色の学習を、LiDARとカメラのデータをそれぞれ使って訓練した別々の多層パーセプトロン（MLP）に分離することで実現されている。さらに、本論文では、NeRFモデルと並行して微分可能な3D占有グリッドマップ（OGM）を構築し、メトリック空間でのボリュームレンダリングのためのレイに沿った点のサンプリングの改善のためにこの占有グリッドを活用する新しい方法を提案する。 本論文では、KITTIデータセットのシーンを用いた広範な定量的・定性的実験を通して、提案手法が、疎な入力データで学習した場合、新しいビュー合成と高密度奥行き予測の両方のタスクにおいて、最先端のNeRFモデルを上回る性能を持つことを実証している。

要約(オリジナル)

Recent advances in neural radiance fields (NeRFs) achieve state-of-the-art novel view synthesis and facilitate dense estimation of scene properties. However, NeRFs often fail for large, unbounded scenes that are captured under very sparse views with the scene content concentrated far away from the camera, as is typical for field robotics applications. In particular, NeRF-style algorithms perform poorly: (1) when there are insufficient views with little pose diversity, (2) when scenes contain saturation and shadows, and (3) when finely sampling large unbounded scenes with fine structures becomes computationally intensive. This paper proposes CLONeR, which significantly improves upon NeRF by allowing it to model large outdoor driving scenes that are observed from sparse input sensor views. This is achieved by decoupling occupancy and color learning within the NeRF framework into separate Multi-Layer Perceptrons (MLPs) trained using LiDAR and camera data, respectively. In addition, this paper proposes a novel method to build differentiable 3D Occupancy Grid Maps (OGM) alongside the NeRF model, and leverage this occupancy grid for improved sampling of points along a ray for volumetric rendering in metric space. Through extensive quantitative and qualitative experiments on scenes from the KITTI dataset, this paper demonstrates that the proposed method outperforms state-of-the-art NeRF models on both novel view synthesis and dense depth prediction tasks when trained on sparse input data.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL