SN-LiDAR: Semantic Neural Fields for Novel Space-time View LiDAR Synthesis

要約

最近の研究では、リダーポイントクラウドの新しいビュー合成（NVS）の調査を開始し、目に見えない視点から現実的なライダースキャンを生成することを目指しています。
ただし、ほとんどの既存のアプローチは、自律運転やロボット認識などの多くのダウンストリームアプリケーションにとって重要なセマンティックラベルを再構築しません。
強力なセグメンテーションモデルの恩恵を受ける画像とは異なり、Lidar Point Cloudsはこのような大規模な事前訓練モデルを欠いており、セマンティックな注釈が時間をかけて労働集約的にします。
この課題に対処するために、正確なセマンティックセグメンテーション、高品質の幾何学的再構成、およびリアルなLidar合成を共同で実行する方法であるSNリダーを提案します。
具体的には、マルチフレームポイントクラウドからグローバルな機能を抽出し、CNNベースのエンコーダーを活用して現在のフレームポイントクラウドからローカルセマンティック機能を抽出するために、粗からファインの平面グリッド機能表現を採用しています。
SemantickittiとKitti-360に関する広範な実験は、セマンティックと幾何学の両方の再構成の両方でSNリダーの優位性を示しており、動的オブジェクトと大規模なシーンの効果的な取り扱いです。
コードはhttps://github.com/dtc111111/sn-lidarで入手できます。

要約(オリジナル)

Recent research has begun exploring novel view synthesis (NVS) for LiDAR point clouds, aiming to generate realistic LiDAR scans from unseen viewpoints. However, most existing approaches do not reconstruct semantic labels, which are crucial for many downstream applications such as autonomous driving and robotic perception. Unlike images, which benefit from powerful segmentation models, LiDAR point clouds lack such large-scale pre-trained models, making semantic annotation time-consuming and labor-intensive. To address this challenge, we propose SN-LiDAR, a method that jointly performs accurate semantic segmentation, high-quality geometric reconstruction, and realistic LiDAR synthesis. Specifically, we employ a coarse-to-fine planar-grid feature representation to extract global features from multi-frame point clouds and leverage a CNN-based encoder to extract local semantic features from the current frame point cloud. Extensive experiments on SemanticKITTI and KITTI-360 demonstrate the superiority of SN-LiDAR in both semantic and geometric reconstruction, effectively handling dynamic objects and large-scale scenes. Codes will be available on https://github.com/dtc111111/SN-Lidar.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google