Interactive4D: Interactive 4D LiDAR Segmentation

要約

インタラクティブなセグメンテーションは、将来の LiDAR データセットのアノテーション プロセスを容易にする上で重要な役割を果たします。
既存のアプローチでは、LiDAR スキャンごとに個々のオブジェクトを順次セグメント化し、シーケンス全体にわたってこのプロセスを繰り返しますが、これは冗長で非効率的です。
この研究では、複数の LiDAR スキャンで複数のオブジェクトを同時にセグメント化できる新しいパラダイムであるインタラクティブ 4D セグメンテーションと、シーケンシャル
LiDAR データの性質。
インタラクティブなセグメンテーションを実行する際、私たちのモデルは時空間ボリューム全体を活用し、より効率的なセグメンテーションを実現します。
4D ボリューム上で動作し、長期にわたって一貫したインスタンス ID を直接提供し、注釈の追跡も簡素化します。
さらに、LiDAR 点群でのモデル トレーニングを成功させるには、クリック シミュレーションが重要であることを示します。
この目的を達成するために、LiDAR データの特性により適したクリック シミュレーション戦略を設計します。
その精度と有効性を実証するために、複数の LiDAR データセットで Interactive4D を評価しました。そこでは、Interactive4D は大幅な差で新しい最先端を達成しています。
承認され次第、コードとモデルを https://vision.rwth-aachen.de/Interactive4D で公開します。

要約(オリジナル)

Interactive segmentation has an important role in facilitating the annotation process of future LiDAR datasets. Existing approaches sequentially segment individual objects at each LiDAR scan, repeating the process throughout the entire sequence, which is redundant and ineffective. In this work, we propose interactive 4D segmentation, a new paradigm that allows segmenting multiple objects on multiple LiDAR scans simultaneously, and Interactive4D, the first interactive 4D segmentation model that segments multiple objects on superimposed consecutive LiDAR scans in a single iteration by utilizing the sequential nature of LiDAR data. While performing interactive segmentation, our model leverages the entire space-time volume, leading to more efficient segmentation. Operating on the 4D volume, it directly provides consistent instance IDs over time and also simplifies tracking annotations. Moreover, we show that click simulations are crucial for successful model training on LiDAR point clouds. To this end, we design a click simulation strategy that is better suited for the characteristics of LiDAR data. To demonstrate its accuracy and effectiveness, we evaluate Interactive4D on multiple LiDAR datasets, where Interactive4D achieves a new state-of-the-art by a large margin. Upon acceptance, we will publicly release the code and models at https://vision.rwth-aachen.de/Interactive4D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google