Taming Contrast Maximization for Learning Sequential, Low-latency, Event-based Optical Flow

要約

イベント カメラは、複雑なコンピュータ ビジョンの問題に対する低遅延かつ低電力のソリューションに新たな道を開くため、最近大きな注目を集めています。
これらのソリューションを活用するには、イベント データの固有の性質を活用できるアルゴリズムを開発する必要があります。
しかし、現在の最先端技術は依然としてフレームベースの文献の影響を強く受けており、通常はこれらの約束を果たせません。
この研究では、これを考慮し、高い推論周波数へのモデルのスケーリングを可能にする、イベントベースのオプティカル フローの逐次推定のための新しい自己教師あり学習パイプラインを提案します。
その中核には、入力イベントの非線形性や変動する統計に対して堅牢なコントラスト最大化の新しい定式化を使用してトレーニングされた、継続的に実行されるステートフル ニューラル モデルがあります。
複数のデータセットにわたる結果は、私たちの方法の有効性を裏付けており、グラウンドトゥルースなしでトレーニングまたは最適化されたアプローチの精度の点で新しい最先端を確立します。

要約(オリジナル)

Event cameras have recently gained significant traction since they open up new avenues for low-latency and low-power solutions to complex computer vision problems. To unlock these solutions, it is necessary to develop algorithms that can leverage the unique nature of event data. However, the current state-of-the-art is still highly influenced by the frame-based literature, and usually fails to deliver on these promises. In this work, we take this into consideration and propose a novel self-supervised learning pipeline for the sequential estimation of event-based optical flow that allows for the scaling of the models to high inference frequencies. At its core, we have a continuously-running stateful neural model that is trained using a novel formulation of contrast maximization that makes it robust to nonlinearities and varying statistics in the input events. Results across multiple datasets confirm the effectiveness of our method, which establishes a new state of the art in terms of accuracy for approaches trained or optimized without ground truth.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google