Regularizing Self-supervised 3D Scene Flows with Surface Awareness and Cyclic Consistency

要約

点群から 3D シーン フローを予測する方法を監督なしで学習することは、多くの認識システムにとって不可欠です。
我々は、必要な正則化を改善する、このタスクのための新しい学習フレームワークを提案します。
シーン要素のほとんどが剛体であるという仮定に基づいて、現在の滑らかさの損失は、入力点群の「剛体クラスター」の定義に基づいて構築されます。
これらのクラスターの定義は難しく、予測されるフローの品質に大きな影響を与えます。
クラスターが個別のオブジェクトに広がるのを防ぎながらクラスターを拡大する 2 つの新しい一貫性損失を導入します。
特に、前後方向の循環損失による \emph{時間的} 一貫性と、空間的近接性に加えて表面方向の類似性を考慮することで \emph{空間的} 一貫性を強化します。
提案された損失はモデルに依存しないため、最も広く使用されている 2 つのアーキテクチャで実証されているように、プラグアンドプレイ方式で使用して既存のモデルのパフォーマンスを大幅に向上させることができます。
また、4 つの標準センサー固有の運転データセットに対するフレームワークの有効性と一般化機能を紹介し、3D シーンの流れ推定で最先端のパフォーマンスを実現します。
私たちのコードは https://github.com/ctu-vras/sac-flow で入手できます。

要約(オリジナル)

Learning without supervision how to predict 3D scene flows from point clouds is essential to many perception systems. We propose a novel learning framework for this task which improves the necessary regularization. Relying on the assumption that scene elements are mostly rigid, current smoothness losses are built on the definition of ‘rigid clusters’ in the input point clouds. The definition of these clusters is challenging and has a significant impact on the quality of predicted flows. We introduce two new consistency losses that enlarge clusters while preventing them from spreading over distinct objects. In particular, we enforce \emph{temporal} consistency with a forward-backward cyclic loss and \emph{spatial} consistency by considering surface orientation similarity in addition to spatial proximity. The proposed losses are model-independent and can thus be used in a plug-and-play fashion to significantly improve the performance of existing models, as demonstrated on two most widely used architectures. We also showcase the effectiveness and generalization capability of our framework on four standard sensor-unique driving datasets, achieving state-of-the-art performance in 3D scene flow estimation. Our codes are available on https://github.com/ctu-vras/sac-flow.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google