DiffSF: Diffusion Models for Scene Flow Estimation

要約

シーン フロー推定は、現実世界のさまざまなアプリケーション、特に自動運転車やロボットなどの自律エージェントにとって不可欠な要素です。
最近のシーン フロー推定アプローチは妥当な精度を達成していますが、現実世界のシステムへの適用性には信頼性の尺度からも利点があります。
不確実性の推定値をさらに提供しながら精度を向上させることを目的として、変圧器ベースのシーン フロー推定とノイズ除去拡散モデルを組み合わせた DiffSF を提案します。
拡散プロセスでは、ガウス ノイズを追加することによって、グラウンド トゥルース シーンのフロー ベクトル フィールドが徐々に摂動されます。
逆のプロセスでは、ランダムにサンプリングされたガウス ノイズから開始して、ソースとターゲットの点群を条件付けすることによってシーン フロー ベクトル場予測が復元されます。
拡散プロセスにより、従来のアプローチと比較して予測のロバスト性が大幅に向上し、標準的なシーン フロー推定ベンチマークで最先端のパフォーマンスが得られることを示します。
さらに、異なる初期状態で複数回サンプリングすることにより、ノイズ除去プロセスは複数の仮説を予測し、出力の不確実性を測定できるようになり、私たちのアプローチで不正確な予測の大部分を検出できるようになります。
コードは https://github.com/ZhangYushan3/DiffSF で入手できます。

要約(オリジナル)

Scene flow estimation is an essential ingredient for a variety of real-world applications, especially for autonomous agents, such as self-driving cars and robots. While recent scene flow estimation approaches achieve a reasonable accuracy, their applicability to real-world systems additionally benefits from a reliability measure. Aiming at improving accuracy while additionally providing an estimate for uncertainty, we propose DiffSF that combines transformer-based scene flow estimation with denoising diffusion models. In the diffusion process, the ground truth scene flow vector field is gradually perturbed by adding Gaussian noise. In the reverse process, starting from randomly sampled Gaussian noise, the scene flow vector field prediction is recovered by conditioning on a source and a target point cloud. We show that the diffusion process greatly increases the robustness of predictions compared to prior approaches resulting in state-of-the-art performance on standard scene flow estimation benchmarks. Moreover, by sampling multiple times with different initial states, the denoising process predicts multiple hypotheses, which enables measuring the output uncertainty, allowing our approach to detect a majority of the inaccurate predictions. The code is available at https://github.com/ZhangYushan3/DiffSF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google