PC-NeRF: Parent-Child Neural Radiance Fields Using Sparse LiDAR Frames in Autonomous Driving Environments

要約

大規模な 3D シーンの再構成と新しいビューの合成は、特に時間的にまばらな LiDAR フレームを利用する自動運転車にとって不可欠です。
しかし、従来の明示的な表現は、再構築および合成シーンを無制限の解像度で表現する上で依然として大きなボトルネックとなっています。
最近開発された神経放射フィールド (NeRF) は暗黙的表現で説得力のある結果を示しましたが、大規模な 3D シーンの再構成と、まばらな LiDAR フレームを使用した新しいビューの合成の問題は未解明のままです。
このギャップを埋めるために、親子神経放射フィールド (PC-NeRF) と呼ばれる 3D シーンの再構成と新しいビュー合成フレームワークを提案します。
このフレームワークは、親 NeRF と子 NeRF の 2 つのモジュールに基づいて、階層的な空間分割と、シーン、セグメント、ポイント レベルを含むマルチレベルのシーン表現を実装します。
マルチレベルのシーン表現により、まばらな LiDAR 点群データの効率的な利用が強化され、おおよその体積シーン表現を迅速に取得できるようになります。
広範な実験により、PC-NeRF は大規模シーンで高精度の新しい LiDAR ビュー合成と 3D 再構成を実現することが証明されています。
さらに、PC-NeRF は、LiDAR フレームがまばらな状況を効果的に処理し、限られたトレーニング エポックで高い展開効率を実証できます。
私たちのアプローチの実装と事前トレーニングされたモデルは、https://github.com/biter0088/pc-nerf で入手できます。

要約(オリジナル)

Large-scale 3D scene reconstruction and novel view synthesis are vital for autonomous vehicles, especially utilizing temporally sparse LiDAR frames. However, conventional explicit representations remain a significant bottleneck towards representing the reconstructed and synthetic scenes at unlimited resolution. Although the recently developed neural radiance fields (NeRF) have shown compelling results in implicit representations, the problem of large-scale 3D scene reconstruction and novel view synthesis using sparse LiDAR frames remains unexplored. To bridge this gap, we propose a 3D scene reconstruction and novel view synthesis framework called parent-child neural radiance field (PC-NeRF). Based on its two modules, parent NeRF and child NeRF, the framework implements hierarchical spatial partitioning and multi-level scene representation, including scene, segment, and point levels. The multi-level scene representation enhances the efficient utilization of sparse LiDAR point cloud data and enables the rapid acquisition of an approximate volumetric scene representation. With extensive experiments, PC-NeRF is proven to achieve high-precision novel LiDAR view synthesis and 3D reconstruction in large-scale scenes. Moreover, PC-NeRF can effectively handle situations with sparse LiDAR frames and demonstrate high deployment efficiency with limited training epochs. Our approach implementation and the pre-trained models are available at https://github.com/biter0088/pc-nerf.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google