Lightweight Event-based Optical Flow Estimation via Iterative Deblurring

要約

フレームベースの手法に触発された最新のイベントベースオプティカルフローネットワークは、相関体積の明示的な計算に依存しており、処理予算とメモリが限られたシステムでは計算と保存にコストがかかる。そこで我々は、相関体積を用いない軽量かつ高性能なイベントベースオプティカルフローネットワーク、IDNet (Iterative Deblurring Network)を紹介します。IDNetは、イベントストリームの時空間的な連続性を利用し、反復的な洗練とモーションデブラーリングを通じて、相関を暗黙的に捉える代替方法を提案する。IDNetは相関量を計算するのではなく、リカレントネットワークを利用し、イベントの時空間相関を繰り返し最大化させる。さらに、同じバッチイベントに対して反復更新する「ID」と、オンライン方式でストリーミングイベントを用いて時間的に反復更新する「TID」という2つの反復更新方式を提案する。ベンチマーク結果では、前者のID方式は計算量を33%削減し、メモリフットプリントを90%削減することで最先端技術に近い性能を達成し、後者のTID方式は18%の性能低下を伴うものの、83%の計算量削減と15倍のレイテンシ削減を約束する、より効率的な方式であることが示されています。

要約(オリジナル)

Inspired by frame-based methods, state-of-the-art event-based optical flow networks rely on the explicit computation of correlation volumes, which are expensive to compute and store on systems with limited processing budget and memory. To this end, we introduce IDNet (Iterative Deblurring Network), a lightweight yet well-performing event-based optical flow network without using correlation volumes. IDNet leverages the unique spatiotemporally continuous nature of event streams to propose an alternative way of implicitly capturing correlation through iterative refinement and motion deblurring. Our network does not compute correlation volumes but rather utilizes a recurrent network to maximize the spatiotemporal correlation of events iteratively. We further propose two iterative update schemes: ‘ID’ which iterates over the same batch of events, and ‘TID’ which iterates over time with streaming events in an online fashion. Benchmark results show the former ‘ID’ scheme can reach close to state-of-the-art performance with 33% of savings in compute and 90% in memory footprint, while the latter ‘TID’ scheme is even more efficient promising 83% of compute savings and 15 times less latency at the cost of 18% of performance drop.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL