SCOOP: Self-Supervised Correspondence and Optimization-Based Scene Flow

要約

タイトル：自己教師付き対応最適化ベースのシーンフロー推定(Scoop)

要約：シーンフロー推定は、連続した観測からシーンの3Dモーションを見つけることを目的とするコンピュータビジョンにおける長年の問題です。最近では、3Dポイントクラウドからシーンフローを計算する取り組みがあります。一般的なアプローチは、ソースポイントクラウドとターゲットポイントクラウドを消費する回帰モデルをトレーニングし、パーポイント移動ベクトルを出力することです。もう1つの方法は、ポイントクラウド間のポイントマッチングを同時に学習し、初期対応フローの修正を回帰することです。どちらの場合でも、学習タスクは非常に難しく、フロー回帰は自由な3D空間で行われるため、大規模な注釈付き合成データセットに頼ることが一般的な解決策です。それに対し、SCOOPは、グラウンドトゥルースフローの監督を使用せずに少量のデータで学ぶことができるシーンフロー推定の新しい方法を提供します。従来の方法とは異なり、私たちは、ポイント特徴表現を学習することに焦点を当てた純粋な対応モデルをトレーニングし、フローをソースポイントとその柔らかい対応するターゲットポイントの差として初期化します。そして、ランタイムフェーズでは、自己教師付き目的でフロー修正コンポーネントを直接最適化し、ポイントクラウド間で連続かつ正確なフローフィールドを導き出します。幅広いデータセットでの実験は、従来技術と比較して、トレーニングデータの一部を使用しながら達成された性能の向上を示しています。我々のコードはhttps://github.com/itailang/SCOOPで公開されています。

要約(オリジナル)

Scene flow estimation is a long-standing problem in computer vision, where the goal is to find the 3D motion of a scene from its consecutive observations. Recently, there have been efforts to compute the scene flow from 3D point clouds. A common approach is to train a regression model that consumes source and target point clouds and outputs the per-point translation vector. An alternative is to learn point matches between the point clouds concurrently with regressing a refinement of the initial correspondence flow. In both cases, the learning task is very challenging since the flow regression is done in the free 3D space, and a typical solution is to resort to a large annotated synthetic dataset. We introduce SCOOP, a new method for scene flow estimation that can be learned on a small amount of data without employing ground-truth flow supervision. In contrast to previous work, we train a pure correspondence model focused on learning point feature representation and initialize the flow as the difference between a source point and its softly corresponding target point. Then, in the run-time phase, we directly optimize a flow refinement component with a self-supervised objective, which leads to a coherent and accurate flow field between the point clouds. Experiments on widespread datasets demonstrate the performance gains achieved by our method compared to existing leading techniques while using a fraction of the training data. Our code is publicly available at https://github.com/itailang/SCOOP.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI