Attention-Guided Lidar Segmentation and Odometry Using Image-to-Point Cloud Saliency Transfer

要約

最近目覚ましい進歩を遂げた自動運転には、LiDAR オドメトリ推定と 3D セマンティック セグメンテーションが不可欠です。
ただし、3D セマンティック セグメンテーションのさまざまなセマンティック カテゴリ内のポイントの不均衡と、LiDAR オドメトリ推定の動的オブジェクトの影響により、これらのタスクは困難です。そのため、堅牢な特徴学習のための参照ポイントとして代表的/顕著なランドマークを使用する重要性が高まります。
これらの課題に対処するために、注目情報を活用して LiDAR オドメトリ推定とセマンティック セグメンテーション モデルのパフォーマンスを向上させる、顕著性ガイド型アプローチを提案します。
画像領域とは異なり、注釈付きのトレーニング データが不足しているため、点群顕著性情報に取り組んでいる研究はわずかです。
これを軽減するために、最初に顕著性分布の知識をカラー画像から点群に転送するための普遍的なフレームワークを提示し、これを使用して点群の擬似顕著性データセット (つまり、FordSaliency) を構築します。
次に、点群ベースのバックボーンを採用して、擬似顕著性ラベルから顕著性分布を学習し、その後に提案する SalLiDAR モジュールが続きます。
SalLiDAR は、顕著性情報を統合してセグメンテーションのパフォーマンスを向上させる、顕著性ガイド型 3D セマンティック セグメンテーション モデルです。
最後に、SalLONet を紹介します。これは、SalLiDAR のセマンティック予測と顕著性予測を使用して、より優れたオドメトリ推定を実現する、自己監視型顕著性ガイド型 LiDAR オドメトリ ネットワークです。
ベンチマーク データセットに関する広範な実験により、提案された SalLiDAR および SalLONet モデルが既存の方法に対して最先端のパフォーマンスを達成することが実証され、画像から LiDAR への顕著性知識の伝達の有効性が強調されています。
ソースコードは https://github.com/nevrez/SalLONet で入手できます。

要約(オリジナル)

LiDAR odometry estimation and 3D semantic segmentation are crucial for autonomous driving, which has achieved remarkable advances recently. However, these tasks are challenging due to the imbalance of points in different semantic categories for 3D semantic segmentation and the influence of dynamic objects for LiDAR odometry estimation, which increases the importance of using representative/salient landmarks as reference points for robust feature learning. To address these challenges, we propose a saliency-guided approach that leverages attention information to improve the performance of LiDAR odometry estimation and semantic segmentation models. Unlike in the image domain, only a few studies have addressed point cloud saliency information due to the lack of annotated training data. To alleviate this, we first present a universal framework to transfer saliency distribution knowledge from color images to point clouds, and use this to construct a pseudo-saliency dataset (i.e. FordSaliency) for point clouds. Then, we adopt point cloud-based backbones to learn saliency distribution from pseudo-saliency labels, which is followed by our proposed SalLiDAR module. SalLiDAR is a saliency-guided 3D semantic segmentation model that integrates saliency information to improve segmentation performance. Finally, we introduce SalLONet, a self-supervised saliency-guided LiDAR odometry network that uses the semantic and saliency predictions of SalLiDAR to achieve better odometry estimation. Our extensive experiments on benchmark datasets demonstrate that the proposed SalLiDAR and SalLONet models achieve state-of-the-art performance against existing methods, highlighting the effectiveness of image-to-LiDAR saliency knowledge transfer. Source code will be available at https://github.com/nevrez/SalLONet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google