MarS3D: A Plug-and-Play Motion-Aware Model for Semantic Segmentation on Multi-Scan 3D Point Clouds

要約

マルチスキャンの大規模点群上の 3D セマンティック セグメンテーションは、自律システムにおいて重要な役割を果たします。
シングルスキャンベースのセマンティック セグメンテーション タスクとは異なり、このタスクでは、ポイントのセマンティック カテゴリに加えて、ポイントの運動状態を区別する必要があります。
ただし、単一スキャン ベースのセグメンテーション タスク用に設計された方法は、時間情報を統合する効果的な方法がないため、マルチスキャン タスクではあまり機能しません。
私たちは、マルチスキャン 3D 点群上のセマンティック セグメンテーションのためのプラグ アンド プレイのモーション認識モジュールである MarS3D を提案します。
このモジュールはシングルスキャンモデルと柔軟に組み合わせることができ、マルチスキャン認識機能を持たせることができます。
このモデルには、表現学習を強化するためのクロスフレーム特徴埋め込みモジュールと、モーション認識を強化するためのモーション認識特徴学習モジュールという 2 つの主要な設計が含まれています。
広範な実験により、MarS3D がベースライン モデルのパフォーマンスを大幅に向上できることが示されました。
コードは https://github.com/CVMI-Lab/MarS3D で入手できます。

要約(オリジナル)

3D semantic segmentation on multi-scan large-scale point clouds plays an important role in autonomous systems. Unlike the single-scan-based semantic segmentation task, this task requires distinguishing the motion states of points in addition to their semantic categories. However, methods designed for single-scan-based segmentation tasks perform poorly on the multi-scan task due to the lacking of an effective way to integrate temporal information. We propose MarS3D, a plug-and-play motion-aware module for semantic segmentation on multi-scan 3D point clouds. This module can be flexibly combined with single-scan models to allow them to have multi-scan perception abilities. The model encompasses two key designs: the Cross-Frame Feature Embedding module for enriching representation learning and the Motion-Aware Feature Learning module for enhancing motion awareness. Extensive experiments show that MarS3D can improve the performance of the baseline model by a large margin. The code is available at https://github.com/CVMI-Lab/MarS3D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google