Motion-prior Contrast Maximization for Dense Continuous-Time Motion Estimation

要約

現在のオプティカル フローおよびポイント トラッキングの方法は、合成データセットに大きく依存しています。
イベント カメラは、困難な視覚条件に優れた利点を備えた新しい視覚センサーですが、現在のイベント シミュレータの制限のため、最先端のフレームベースの手法をイベント データに簡単に適応させることはできません。
我々は、コントラスト最大化フレームワークとピクセルレベルの軌跡の形での非線形運動事前を組み合わせた新しい自己教師損失を導入し、非線形軌跡とイベントの間の高次元割り当て問題を解決するための効率的な解決策を提案します。
その有効性は 2 つのシナリオで実証されています。 密な連続時間の動き推定では、私たちの方法は、実世界のデータセット EVIMO2 で合成トレーニングされたモデルのゼロショット パフォーマンスを 29% 向上させます。
オプティカル フロー推定では、私たちの方法は単純な UNet を向上させ、DSEC オプティカル フロー ベンチマークにおける自己教師あり方式の中で最先端のパフォーマンスを達成します。
私たちのコードは https://github.com/tub-rip/MotionPriorCMax で入手できます。

要約(オリジナル)

Current optical flow and point-tracking methods rely heavily on synthetic datasets. Event cameras are novel vision sensors with advantages in challenging visual conditions, but state-of-the-art frame-based methods cannot be easily adapted to event data due to the limitations of current event simulators. We introduce a novel self-supervised loss combining the Contrast Maximization framework with a non-linear motion prior in the form of pixel-level trajectories and propose an efficient solution to solve the high-dimensional assignment problem between non-linear trajectories and events. Their effectiveness is demonstrated in two scenarios: In dense continuous-time motion estimation, our method improves the zero-shot performance of a synthetically trained model on the real-world dataset EVIMO2 by 29%. In optical flow estimation, our method elevates a simple UNet to achieve state-of-the-art performance among self-supervised methods on the DSEC optical flow benchmark. Our code is available at https://github.com/tub-rip/MotionPriorCMax.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google