ZeroFlow: Fast Zero Label Scene Flow via Distillation

要約

シーン フロー推定は、時間的に連続する点群間の 3D モーション フィールドを記述するタスクです。
最先端の手法では、強力な事前分布とテスト時間の最適化手法が使用されていますが、大規模な点群の場合は数十秒程度の時間がかかるため、オープンワールドなどのリアルタイム アプリケーションのコンピュータ ビジョン プリミティブとしては使用できません。
物体の検出。
フィードフォワード手法はかなり高速で、大規模な点群の場合は数十ミリ秒から数百ミリ秒程度で実行されますが、高価な人間による監視が必要です。
両方の制限に対処するために、ラベルフリーの最適化手法を使用してフィードフォワード モデルを監視する疑似ラベルを生成する単純な蒸留フレームワークである、蒸留によるシーン フローを提案します。
このフレームワークのインスタンス化である ZeroFlow は、人的ラベルを使用せずに、最先端の方法に匹敵する品質で大規模な点群上にリアルタイムでシーン フロー推定を生成します。
特に、テスト時において、ZeroFlow は、大規模な点群におけるラベルフリーの最先端の最適化ベースの手法よりも 1000$\time$ 以上高速であり、ラベルなしのデータでのトレーニングに比べて 1000$\time$ 以上安価です。
そのデータに人が注釈を付けるコストがかかります。
研究の再利用を促進するために、Argoverse 2 および Waymo Open データセットのコード、トレーニング済みモデルの重み、および高品質の疑似ラベルをリリースします。

要約(オリジナル)

Scene flow estimation is the task of describing the 3D motion field between temporally successive point clouds. State-of-the-art methods use strong priors and test-time optimization techniques, but require on the order of tens of seconds for large-scale point clouds, making them unusable as computer vision primitives for real-time applications such as open world object detection. Feed forward methods are considerably faster, running on the order of tens to hundreds of milliseconds for large-scale point clouds, but require expensive human supervision. To address both limitations, we propose Scene Flow via Distillation, a simple distillation framework that uses a label-free optimization method to produce pseudo-labels to supervise a feed forward model. Our instantiation of this framework, ZeroFlow, produces scene flow estimates in real-time on large-scale point clouds at quality competitive with state-of-the-art methods while using zero human labels. Notably, at test-time ZeroFlow is over 1000$\times$ faster than label-free state-of-the-art optimization-based methods on large-scale point clouds and over 1000$\times$ cheaper to train on unlabeled data compared to the cost of human annotation of that data. To facilitate research reuse, we release our code, trained model weights, and high quality pseudo-labels for the Argoverse 2 and Waymo Open datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google