Online Segmentation of LiDAR Sequences: Dataset and Algorithm

要約

屋根に取り付けられた回転LiDARセンサーは自動運転車で広く使用されており、3Dポイントシーケンスのリアルタイム処理の必要性を高めています。
ただし、ほとんどのLiDARセマンティックセグメンテーションデータセットとアルゴリズムは、これらの取得を$ 360 ^ \ circ $フレームに分割するため、現実的なリアルタイムアプリケーションや評価と互換性のない取得遅延が発生します。
この問題には、2つの重要な貢献によって対処します。
まず、HelixNetを紹介します。これは、細粒度のラベル、タイムスタンプ、センサー回転情報を備えた100億ドルのポイントデータセットであり、セグメンテーションアルゴリズムのリアルタイムの準備状況を正確に評価できます。
次に、LiDARポイントシーケンスを回転させるために特別に設計されたコンパクトで効率的な時空間トランスフォーマーアーキテクチャであるHelix4Dを提案します。
Helix4Dは、センサーの完全な回転の一部に対応する取得スライスで動作し、合計レイテンシーを大幅に削減します。
HelixNetとSemanticKITTIで、いくつかの最先端モデルのパフォーマンスとリアルタイムの準備状況に関する広範なベンチマークを紹介します。
Helix4Dは、レイテンシーの点で$ 5 \ times $以上、モデルサイズの点で$ 50 \ times $の削減により、最高のセグメンテーションアルゴリズムと同等の精度に達します。
コードとデータはhttps://romainloiseau.fr/helixnetで入手できます。

要約(オリジナル)

Roof-mounted spinning LiDAR sensors are widely used by autonomous vehicles, driving the need for real-time processing of 3D point sequences. However, most LiDAR semantic segmentation datasets and algorithms split these acquisitions into $360^\circ$ frames, leading to acquisition latency that is incompatible with realistic real-time applications and evaluations. We address this issue with two key contributions. First, we introduce HelixNet, a $10$ billion point dataset with fine-grained labels, timestamps, and sensor rotation information that allows an accurate assessment of real-time readiness of segmentation algorithms. Second, we propose Helix4D, a compact and efficient spatio-temporal transformer architecture specifically designed for rotating LiDAR point sequences. Helix4D operates on acquisition slices that correspond to a fraction of a full rotation of the sensor, significantly reducing the total latency. We present an extensive benchmark of the performance and real-time readiness of several state-of-the-art models on HelixNet and SemanticKITTI. Helix4D reaches accuracy on par with the best segmentation algorithms with a reduction of more than $5\times$ in terms of latency and $50\times$ in model size. Code and data are available at: https://romainloiseau.fr/helixnet

arxiv情報

提供元, 利用サービス

arxiv.jp, Google