Fast Event-based Optical Flow Estimation by Triplet Matching

要約

イベント カメラは、従来のカメラよりも優れた利点 (低遅延、高ダイナミック レンジ、低消費電力など) を提供する、バイオに着想を得た新しいセンサーです。
イベントのパケットで機能するオプティカル フロー推定方法は、速度と精度をトレードオフしますが、イベントごとの (増分) 方法には強力な仮定があり、現場での進歩を定量化する一般的なベンチマークでテストされていません。
リソースに制約のあるデバイスでのアプリケーションに向けて、高速で軽量かつ正確なオプティカル フロー アルゴリズムを開発することが重要です。
この作品は、神経科学からの洞察を活用し、トリプレット マッチングに基づく新しいオプティカル フロー推定スキームを提案します。
公開されているベンチマークでの実験は、以前のパケットベースのアルゴリズムと同等の結果で複雑なシーンを処理する能力を示しています。
さらに、提案された方法は、推定に 3 つのイベントしか必要としないため、標準 CPU で最速の実行時間 (> 10 kHz) を達成します。
私たちの研究が、実世界のシナリオにおけるリアルタイムのインクリメンタルモーション推定方法とアプリケーションへの扉を開くことを願っています。

要約(オリジナル)

Event cameras are novel bio-inspired sensors that offer advantages over traditional cameras (low latency, high dynamic range, low power, etc.). Optical flow estimation methods that work on packets of events trade off speed for accuracy, while event-by-event (incremental) methods have strong assumptions and have not been tested on common benchmarks that quantify progress in the field. Towards applications on resource-constrained devices, it is important to develop optical flow algorithms that are fast, light-weight and accurate. This work leverages insights from neuroscience, and proposes a novel optical flow estimation scheme based on triplet matching. The experiments on publicly available benchmarks demonstrate its capability to handle complex scenes with comparable results as prior packet-based algorithms. In addition, the proposed method achieves the fastest execution time (> 10 kHz) on standard CPUs as it requires only three events in estimation. We hope that our research opens the door to real-time, incremental motion estimation methods and applications in real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google