Secrets of Event-Based Optical Flow

要約

イベントカメラはシーンのダイナミクスに応答し、動きを推定する利点を提供します。
最近の画像ベースの深層学習の成果に続いて、イベントカメラのオプティカルフロー推定方法は、それらの画像ベースの方法をイベントデータと組み合わせるために急いでいます。
ただし、プロパティが大きく異なるため、いくつかの調整（データ変換、損失関数など）が必要です。
コントラスト最大化フレームワークを拡張して、イベントのみからオプテ​​ィカルフローを推定する原理的な方法を開発します。
重要な要素を調査します：過剰適合を防ぐために目的関数を設計する方法、オクルージョンをより適切に処理するためにイベントをワープする方法、およびマルチスケールの生イベントとの収束を改善する方法。
これらの重要な要素により、私たちの方法はMVSECベンチマークで教師なし方法の中で第1位にランクされ、DSECベンチマークで競争力があります。
さらに、私たちの方法では、これらのベンチマークでグラウンドトゥルースフローの問題を明らかにすることができ、教師なし学習設定に転送すると、驚くべき結果が得られます。
私たちのコードはhttps://github.com/tub-rip/event_based_optic_flowで入手できます

要約(オリジナル)

Event cameras respond to scene dynamics and offer advantages to estimate motion. Following recent image-based deep-learning achievements, optical flow estimation methods for event cameras have rushed to combine those image-based methods with event data. However, it requires several adaptations (data conversion, loss function, etc.) as they have very different properties. We develop a principled method to extend the Contrast Maximization framework to estimate optical flow from events alone. We investigate key elements: how to design the objective function to prevent overfitting, how to warp events to deal better with occlusions, and how to improve convergence with multi-scale raw events. With these key elements, our method ranks first among unsupervised methods on the MVSEC benchmark, and is competitive on the DSEC benchmark. Moreover, our method allows us to expose the issues of the ground truth flow in those benchmarks, and produces remarkable results when it is transferred to unsupervised learning settings. Our code is available at https://github.com/tub-rip/event_based_optical_flow

arxiv情報

提供元, 利用サービス

arxiv.jp, Google