LiDAR Registration with Visual Foundation Models

要約

LIDAR登録は、ロボットマッピングとローカリゼーションの基本的なタスクです。
2つのポイントクラウドを調整することの重要なコンポーネントは、ポイント記述子を使用して堅牢なポイント対応を識別することです。
このステップは、ドメインシフト、季節の変化、およびポイントクラウド構造のバリエーションを含むシナリオで特に困難になります。
これらの要因は、手作りされたアプローチと学習ベースのアプローチの両方に大きく影響します。
このホワイトペーパーでは、サラウンドビュー画像から取得したDINOV2機能をポイント記述子として使用することを提案することにより、これらの問題に対処します。
これらの記述子をRANSACやICPなどの従来の登録アルゴリズムと結合することで、1年以上前にマップが記録された場合でも、3Dマップを使用したLidarスキャンの堅牢な6DOFアライメントを促進することを実証します。
概念的には単純ですが、私たちの方法は、より複雑なベースライン技術よりも大幅に優れています。
以前の学習ベースのポイント記述子とは対照的に、私たちの方法はドメイン固有の再訓練を必要とせず、ポイントクラウド構造に不可知論され、スパースライダースキャンと密な3Dマップの両方を効果的に処理します。
追加のカメラデータを活用することで、NCLTおよびOxford Robotcarデータセットの+24.8および+17.3登録リコールで最適なベースラインを上回る方法を可能にすることが示されています。
https://vfm-registration.cs.uni-freiburg.deの登録ベンチマークと作業のコードを公開します。

要約(オリジナル)

LiDAR registration is a fundamental task in robotic mapping and localization. A critical component of aligning two point clouds is identifying robust point correspondences using point descriptors. This step becomes particularly challenging in scenarios involving domain shifts, seasonal changes, and variations in point cloud structures. These factors substantially impact both handcrafted and learning-based approaches. In this paper, we address these problems by proposing to use DINOv2 features, obtained from surround-view images, as point descriptors. We demonstrate that coupling these descriptors with traditional registration algorithms, such as RANSAC or ICP, facilitates robust 6DoF alignment of LiDAR scans with 3D maps, even when the map was recorded more than a year before. Although conceptually straightforward, our method substantially outperforms more complex baseline techniques. In contrast to previous learning-based point descriptors, our method does not require domain-specific retraining and is agnostic to the point cloud structure, effectively handling both sparse LiDAR scans and dense 3D maps. We show that leveraging the additional camera data enables our method to outperform the best baseline by +24.8 and +17.3 registration recall on the NCLT and Oxford RobotCar datasets. We publicly release the registration benchmark and the code of our work on https://vfm-registration.cs.uni-freiburg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google