Interactive4D: Interactive 4D LiDAR Segmentation

要約

インタラクティブなセグメンテーションは、将来のLIDARデータセットの注釈プロセスを促進する上で重要な役割を果たします。
既存のアプローチは、各LIDARスキャンで個々のオブジェクトを順次セグメント化し、シーケンス全体でプロセスを繰り返します。これは冗長で効果がありません。
この作業では、インタラクティブ4Dセグメンテーションを提案します。これは、複数のLIDARスキャンの複数のオブジェクトを同時にセグメント化できるようにする新しいパラダイムと、Lidarデータの順番な性質を利用する単一反復で、重ね合わせの連続したLIDARスキャンに複数のオブジェクトをセグメント化する最初のインタラクティブ4DセグメンテーションモデルであるInteractive4Dを提案します。
インタラクティブセグメンテーションの実行中、私たちのモデルは時空全体を活用して、より効率的なセグメンテーションにつながります。
4Dボリュームで動作すると、時間の経過とともに一貫したインスタンスIDを直接提供し、追跡注釈も簡素化します。
さらに、Lidar Point Cloudsでのモデルトレーニングを成功させるには、クリックシミュレーションが重要であることを示します。
この目的のために、LIDARデータの特性により適したクリックシミュレーション戦略を設計します。
その精度と有効性を実証するために、Interactive4Dを複数のLIDARデータセットで評価します。ここでは、Interactive4Dが大きなマージンで新しい最先端を達成します。
https://vision.rwth-aachen.de/interactive4dでコードとモデルを公開します。

要約(オリジナル)

Interactive segmentation has an important role in facilitating the annotation process of future LiDAR datasets. Existing approaches sequentially segment individual objects at each LiDAR scan, repeating the process throughout the entire sequence, which is redundant and ineffective. In this work, we propose interactive 4D segmentation, a new paradigm that allows segmenting multiple objects on multiple LiDAR scans simultaneously, and Interactive4D, the first interactive 4D segmentation model that segments multiple objects on superimposed consecutive LiDAR scans in a single iteration by utilizing the sequential nature of LiDAR data. While performing interactive segmentation, our model leverages the entire space-time volume, leading to more efficient segmentation. Operating on the 4D volume, it directly provides consistent instance IDs over time and also simplifies tracking annotations. Moreover, we show that click simulations are crucial for successful model training on LiDAR point clouds. To this end, we design a click simulation strategy that is better suited for the characteristics of LiDAR data. To demonstrate its accuracy and effectiveness, we evaluate Interactive4D on multiple LiDAR datasets, where Interactive4D achieves a new state-of-the-art by a large margin. We publicly release the code and models at https://vision.rwth-aachen.de/Interactive4D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google