InsMOS: Instance-Aware Moving Object Segmentation in LiDAR Data

要約

動くオブジェクトを識別することは、自律ナビゲーション、一貫したマップ生成、およびオブジェクトの将来の軌道予測にとって重要な機能です。
この論文では、3D LiDAR スキャンで移動オブジェクトをセグメント化するという課題に対処する新しいネットワークを提案します。
私たちのアプローチは、点ごとの移動ラベルを予測するだけでなく、主要なトラフィック参加者のインスタンス情報も検出します。
このような設計は、現在のシーンで実際に動いているインスタンスと一時的に静止しているインスタンスを判断するのに役立ちます。
この方法では、一連の点群を入力として利用し、それらを 4D ボクセルに定量化します。
4D スパース畳み込みを使用して、4D ボクセルからモーション機能を抽出し、現在のスキャンに挿入します。
次に、インスタンス検出と特徴融合のために、現在のスキャンから時空間特徴を抽出します。
最後に、時空間特徴と予測されたインスタンス情報を融合することにより、ポイントごとのラベルを出力するアップサンプル融合モジュールを設計します。
SemanticKITTI に基づく LiDAR-MOS ベンチマークでアプローチを評価し、最先端の方法と比較してより優れた移動オブジェクト セグメンテーション パフォーマンスを達成し、移動オブジェクト セグメンテーションのインスタンス情報を統合するアプローチの有効性を実証しました。
さらに、私たちの方法は、SemanticKITTI で事前にトレーニングされたモデルを使用して Apollo データセットで優れたパフォーマンスを示し、さまざまなシーンでこの方法がうまく一般化できることを示しています。
com/nubot-nudt/InsMOS.

要約(オリジナル)

Identifying moving objects is a crucial capability for autonomous navigation, consistent map generation, and future trajectory prediction of objects. In this paper, we propose a novel network that addresses the challenge of segmenting moving objects in 3D LiDAR scans. Our approach not only predicts point-wise moving labels but also detects instance information of main traffic participants. Such a design helps determine which instances are actually moving and which ones are temporarily static in the current scene. Our method exploits a sequence of point clouds as input and quantifies them into 4D voxels. We use 4D sparse convolutions to extract motion features from the 4D voxels and inject them into the current scan. Then, we extract spatio-temporal features from the current scan for instance detection and feature fusion. Finally, we design an upsample fusion module to output point-wise labels by fusing the spatio-temporal features and predicted instance information. We evaluated our approach on the LiDAR-MOS benchmark based on SemanticKITTI and achieved better moving object segmentation performance compared to state-of-the-art methods, demonstrating the effectiveness of our approach in integrating instance information for moving object segmentation. Furthermore, our method shows superior performance on the Apollo dataset with a pre-trained model on SemanticKITTI, indicating that our method generalizes well in different scenes.The code and pre-trained models of our method will be released at https://github.com/nubot-nudt/InsMOS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google