Lidar Panoptic Segmentation and Tracking without Bells and Whistles

要約

最先端の LIDAR パノプティック セグメンテーション (LPS) 手法は、ボトムアップのセグメンテーション中心の方式に従い、クラスタリングを利用してオブジェクト インスタンスを取得することにより、セマンティック セグメンテーション ネットワーク上に構築されます。
この論文では、このアプローチを再考し、LPS と追跡の両方に対して、驚くほどシンプルでありながら効果的な検出中心のネットワークを提案します。
当社のネットワークは設計によりモジュール化されており、パノプティック セグメンテーションと追跡タスクの両方のあらゆる側面に対して最適化されています。
私たちのネットワークの中核コンポーネントの 1 つはオブジェクト インスタンス検出ブランチで、セグメンテーション中心のデータセットで利用可能なポイントレベル (モーダル) アノテーションを使用してトレーニングします。
アモーダル（直方体）アノテーションがない場合、物体のサイズに関する情報を提供する軌道レベルの監視を使用して、モーダル重心と物体の範囲を回帰します。この情報は、オクルージョンと LIDAR データのまばらな性質のため、単一のスキャンからは推測できません。
LIDAR ポイントと検出された重心の関連付けを学習することで、きめの細かいインスタンス セグメントを取得します。
私たちはいくつかの 3D/4D LPS ベンチマークで私たちの手法を評価し、私たちのモデルがオープンソース モデルの中で新しい最先端を確立し、最近のクエリベースのモデルを上回るパフォーマンスを示していることを観察しました。

要約(オリジナル)

State-of-the-art lidar panoptic segmentation (LPS) methods follow bottom-up segmentation-centric fashion wherein they build upon semantic segmentation networks by utilizing clustering to obtain object instances. In this paper, we re-think this approach and propose a surprisingly simple yet effective detection-centric network for both LPS and tracking. Our network is modular by design and optimized for all aspects of both the panoptic segmentation and tracking task. One of the core components of our network is the object instance detection branch, which we train using point-level (modal) annotations, as available in segmentation-centric datasets. In the absence of amodal (cuboid) annotations, we regress modal centroids and object extent using trajectory-level supervision that provides information about object size, which cannot be inferred from single scans due to occlusions and the sparse nature of the lidar data. We obtain fine-grained instance segments by learning to associate lidar points with detected centroids. We evaluate our method on several 3D/4D LPS benchmarks and observe that our model establishes a new state-of-the-art among open-sourced models, outperforming recent query-based models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google