DiffSF: Diffusion Models for Scene Flow Estimation

要約

シーンフロー推定は、様々な実世界アプリケーション、特に自動運転車やロボットなどの自律エージェントにとって不可欠な要素である。最近のシーンフロー推定アプローチは妥当な精度を達成しているが、実世界システムへの適用可能性は、さらに信頼性尺度の恩恵を受ける。精度を向上させつつ、さらに不確実性の推定値を提供することを目的として、我々は、変換器ベースのシーンフロー推定とノイズ除去拡散モデルを組み合わせたDiffSFを提案する。拡散プロセスにおいて、グランドトゥルースのシーンフローベクトルフィールドは、ガウスノイズを加えることによって徐々に摂動される。逆のプロセスでは、ランダムにサンプリングされたガウシアンノイズから出発し、シーンフローベクトル場の予測は、ソースとターゲットの点群に対する条件付けによって回復される。我々は、拡散過程が、標準的なシーンフロー推定ベンチマークにおいて最先端の性能をもたらす先行アプローチと比較して、予測のロバスト性を大幅に向上させることを示す。さらに、異なる初期状態で複数回サンプリングすることにより、ノイズ除去プロセスは複数の仮説を予測し、これにより出力の不確実性を測定することが可能となり、我々のアプローチは不正確な予測の大部分を検出することができる。コードはhttps://github.com/ZhangYushan3/DiffSF。

要約(オリジナル)

Scene flow estimation is an essential ingredient for a variety of real-world applications, especially for autonomous agents, such as self-driving cars and robots. While recent scene flow estimation approaches achieve a reasonable accuracy, their applicability to real-world systems additionally benefits from a reliability measure. Aiming at improving accuracy while additionally providing an estimate for uncertainty, we propose DiffSF that combines transformer-based scene flow estimation with denoising diffusion models. In the diffusion process, the ground truth scene flow vector field is gradually perturbed by adding Gaussian noise. In the reverse process, starting from randomly sampled Gaussian noise, the scene flow vector field prediction is recovered by conditioning on a source and a target point cloud. We show that the diffusion process greatly increases the robustness of predictions compared to prior approaches resulting in state-of-the-art performance on standard scene flow estimation benchmarks. Moreover, by sampling multiple times with different initial states, the denoising process predicts multiple hypotheses, which enables measuring the output uncertainty, allowing our approach to detect a majority of the inaccurate predictions. The code is available at https://github.com/ZhangYushan3/DiffSF.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL