LiDAR4D: Dynamic Neural Fields for Novel Space-time View LiDAR Synthesis

要約

ニューラル放射輝度場（NeRF）は、画像の新規ビュー合成（NVS）において成功を収めたが、LiDAR NVSはほとんど未解明のままである。これまでのLiDAR NVS手法は、LiDAR点群の動的性質と大規模再構成問題を無視したまま、画像NVS手法からの単純な移行を採用しています。これを踏まえ、我々は新しい時空間LiDARビュー合成のための微分可能なLiDARのみのフレームワークであるLiDAR4Dを提案する。スパース性と大規模な特性を考慮し、粗いものから細かいものまで効果的な再構成を達成するために、多平面およびグリッド特徴と組み合わせた4Dハイブリッド表現を設計する。さらに、点群に由来する幾何学的制約を導入し、時間的整合性を改善する。LiDAR点群の現実的な合成のために、領域横断パターンを保存するための光線降下確率の大域的最適化を組み込む。KITTI-360とNuScenesデータセットを用いた広範な実験により、ジオメトリを考慮し、時間整合性のある動的再構成を達成する上で、我々の手法が優れていることが実証された。コードはhttps://github.com/ispc-lab/LiDAR4D。

要約(オリジナル)

Although neural radiance fields (NeRFs) have achieved triumphs in image novel view synthesis (NVS), LiDAR NVS remains largely unexplored. Previous LiDAR NVS methods employ a simple shift from image NVS methods while ignoring the dynamic nature and the large-scale reconstruction problem of LiDAR point clouds. In light of this, we propose LiDAR4D, a differentiable LiDAR-only framework for novel space-time LiDAR view synthesis. In consideration of the sparsity and large-scale characteristics, we design a 4D hybrid representation combined with multi-planar and grid features to achieve effective reconstruction in a coarse-to-fine manner. Furthermore, we introduce geometric constraints derived from point clouds to improve temporal consistency. For the realistic synthesis of LiDAR point clouds, we incorporate the global optimization of ray-drop probability to preserve cross-region patterns. Extensive experiments on KITTI-360 and NuScenes datasets demonstrate the superiority of our method in accomplishing geometry-aware and time-consistent dynamic reconstruction. Codes are available at https://github.com/ispc-lab/LiDAR4D.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL