2DPASS: 2D Priors Assisted Semantic Segmentation on LiDAR Point Clouds

要約

カメラと LiDAR センサーが自動運転で使用される補完的な情報をキャプチャするため、マルチモダリティ データ フュージョンによるセマンティック セグメンテーション アルゴリズムの開発に多大な努力が払われてきました。
ただし、融合ベースのアプローチでは、トレーニングと推論の両方の入力として、LiDAR ポイント クラウドと厳密なポイント ツー ピクセル マッピングを使用したカメラ画像などのペア データが必要であり、実際のシナリオでの適用を大きく妨げます。
したがって、この作業では、外観が豊富な2D画像を十分に活用することにより、点群の表現学習を強化するための一般的なトレーニングスキームである2D Priors Assisted Semantic Segmentation（2DPASS）を提案します。
実際には、補助モーダル フュージョンとマルチスケール フュージョンから単一知識への蒸留 (MSFSKD) を活用することで、2DPASS はマルチモーダル データからより豊富なセマンティックおよび構造情報を取得し、それをオンラインで純粋な 3D ネットワークに蒸留します。
その結果、2DPASS を装備すると、点群入力のみでベースラインが大幅に改善されます。
具体的には、2 つの大規模なベンチマーク (SemanticKITTI と NuScenes) で最先端の成果を上げており、SemanticKITTI のシングル スキャンとマルチ スキャンの両方でトップ 1 の結果が得られています。

要約(オリジナル)

As camera and LiDAR sensors capture complementary information used in autonomous driving, great efforts have been made to develop semantic segmentation algorithms through multi-modality data fusion. However, fusion-based approaches require paired data, i.e., LiDAR point clouds and camera images with strict point-to-pixel mappings, as the inputs in both training and inference, which seriously hinders their application in practical scenarios. Thus, in this work, we propose the 2D Priors Assisted Semantic Segmentation (2DPASS), a general training scheme, to boost the representation learning on point clouds, by fully taking advantage of 2D images with rich appearance. In practice, by leveraging an auxiliary modal fusion and multi-scale fusion-to-single knowledge distillation (MSFSKD), 2DPASS acquires richer semantic and structural information from the multi-modal data, which are then online distilled to the pure 3D network. As a result, equipped with 2DPASS, our baseline shows significant improvement with only point cloud inputs. Specifically, it achieves the state-of-the-arts on two large-scale benchmarks (i.e. SemanticKITTI and NuScenes), including top-1 results in both single and multiple scan(s) competitions of SemanticKITTI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google