Taming Contrast Maximization for Learning Sequential, Low-latency, Event-based Optical Flow

要約

イベント カメラは、複雑なコンピューター ビジョンの問題に対する低遅延で低電力のソリューションに新たな道を切り開くため、最近大きな注目を集めています。
これらのソリューションを解き放つには、イベント データの固有の性質を活用できるアルゴリズムを開発する必要があります。
ただし、現在の最先端技術は依然としてフレームベースの文献の影響を強く受けており、通常、これらの約束を果たすことができません。
この作業では、これを考慮して、モデルを高い推論頻度にスケーリングできるようにする、イベントベースのオプティカル フローの順次推定のための新しい自己教師あり学習パイプラインを提案します。
その核となるのは、連続的に実行されるステートフル ニューラル モデルです。このモデルは、入力イベントの非線形性とさまざまな統計に対してロバストなコントラスト最大化の新しい定式化を使用してトレーニングされます。
複数のデータセットにわたる結果は、グラウンド トゥルースなしでトレーニングまたは最適化されたアプローチの精度に関して新しい最先端技術を確立する、私たちの方法の有効性を確認します。

要約(オリジナル)

Event cameras have recently gained significant traction since they open up new avenues for low-latency and low-power solutions to complex computer vision problems. To unlock these solutions, it is necessary to develop algorithms that can leverage the unique nature of event data. However, the current state-of-the-art is still highly influenced by the frame-based literature, and usually fails to deliver on these promises. In this work, we take this into consideration and propose a novel self-supervised learning pipeline for the sequential estimation of event-based optical flow that allows for the scaling of the models to high inference frequencies. At its core, we have a continuously-running stateful neural model that is trained using a novel formulation of contrast maximization that makes it robust to nonlinearities and varying statistics in the input events. Results across multiple datasets confirm the effectiveness of our method, which establishes a new state of the art in terms of accuracy for approaches trained or optimized without ground truth.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google