4D-StOP: Panoptic Segmentation of 4D LiDAR using Spatio-temporal Object Proposal Generation and Aggregation

要約

この作業では、4D Panoptic LiDAR セグメンテーションのタスクに取り組むために、4D-StOP と呼ばれる新しいパラダイムを提示します。
4D-StOP はまず、投票ベースのセンター予測を使用して時空間提案を生成します。ここで、4D ボリュームの各ポイントは、対応するセンターに投票します。
これらのトラックレットの提案は、学習した幾何学的特徴を使用してさらに集約されます。
トラックレット アグリゲーション メソッドは、時空間ボリューム全体にわたってビデオ レベルの 4D シーン表現を効果的に生成します。
これは、ガウス確率分布で表される時空間埋め込みを使用する既存のエンドツーエンドのトレーニング可能な最先端のアプローチとは対照的です。
投票ベースのトラックレット生成方法とそれに続く幾何学的特徴ベースの集約により、ガウス確率分布を使用して 4D ボリューム全体をモデル化する場合と比較して、パノプティック LiDAR セグメンテーションの品質が大幅に向上します。
4D-StOP は、SemanticKITTI テスト データセットに適用すると、63.9 LSTQ のスコアで新しい最先端を達成します。これは、現在最高のパフォーマンスを誇るエンドツーエンドのトレーニング可能なメソッドと比較して大幅な (+7%) 改善です。
.
コードと事前トレーニング済みのモデルは、https://github.com/LarsKreuzberg/4D-StOP で入手できます。

要約(オリジナル)

In this work, we present a new paradigm, called 4D-StOP, to tackle the task of 4D Panoptic LiDAR Segmentation. 4D-StOP first generates spatio-temporal proposals using voting-based center predictions, where each point in the 4D volume votes for a corresponding center. These tracklet proposals are further aggregated using learned geometric features. The tracklet aggregation method effectively generates a video-level 4D scene representation over the entire space-time volume. This is in contrast to existing end-to-end trainable state-of-the-art approaches which use spatio-temporal embeddings that are represented by Gaussian probability distributions. Our voting-based tracklet generation method followed by geometric feature-based aggregation generates significantly improved panoptic LiDAR segmentation quality when compared to modeling the entire 4D volume using Gaussian probability distributions. 4D-StOP achieves a new state-of-the-art when applied to the SemanticKITTI test dataset with a score of 63.9 LSTQ, which is a large (+7%) improvement compared to current best-performing end-to-end trainable methods. The code and pre-trained models are available at: https://github.com/LarsKreuzberg/4D-StOP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google