SeFlow: A Self-Supervised Scene Flow Method in Autonomous Driving

要約

シーン フロー推定は、連続する LiDAR スキャンの各ポイントでの 3D モーションを予測します。
この詳細なポイントレベルの情報は、自動運転車が周囲の動的な変化を正確に予測し、理解するのに役立ちます。
現在の最先端の方法では、シーン フロー ネットワークをトレーニングするために注釈付きのデータが必要であり、ラベル付けの費用により本質的にそのスケーラビリティが制限されます。
自己教師ありアプローチは上記の制限を克服できますが、最適なパフォーマンスを妨げる 2 つの主要な課題、つまりポイント分布の不均衡とオブジェクト レベルのモーション制約の無視に直面しています。
この論文では、効率的な動的分類を学習ベースのシーン フロー パイプラインに統合する自己教師あり手法である SeFlow を提案します。
静的点と動的点を分類することは、さまざまな運動パターンに対して対象となる目的関数を設計するのに役立つことを実証します。
また、特にオブジェクトの詳細に関するシーン フローの推定を改良するために、内部クラスターの一貫性と正しいオブジェクト ポイントの関連付けの重要性も強調します。
私たちのリアルタイム対応メソッドは、Argoverse 2 および Waymo データセット上の自己監視型シーン フロー タスクで最先端のパフォーマンスを実現します。
このコードは、トレーニングされたモデルの重みとともに https://github.com/KTH-RPL/SeFlow でオープンソース化されています。

要約(オリジナル)

Scene flow estimation predicts the 3D motion at each point in successive LiDAR scans. This detailed, point-level, information can help autonomous vehicles to accurately predict and understand dynamic changes in their surroundings. Current state-of-the-art methods require annotated data to train scene flow networks and the expense of labeling inherently limits their scalability. Self-supervised approaches can overcome the above limitations, yet face two principal challenges that hinder optimal performance: point distribution imbalance and disregard for object-level motion constraints. In this paper, we propose SeFlow, a self-supervised method that integrates efficient dynamic classification into a learning-based scene flow pipeline. We demonstrate that classifying static and dynamic points helps design targeted objective functions for different motion patterns. We also emphasize the importance of internal cluster consistency and correct object point association to refine the scene flow estimation, in particular on object details. Our real-time capable method achieves state-of-the-art performance on the self-supervised scene flow task on Argoverse 2 and Waymo datasets. The code is open-sourced at https://github.com/KTH-RPL/SeFlow along with trained model weights.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google