Revisiting Event-based Video Frame Interpolation

要約

ダイナミック ビジョン センサーまたはイベント カメラは、ビデオ フレーム補間のための豊富な補完情報を提供します。
既存の最先端の手法は、合成ベースのネットワークとワーピング ネットワークの両方を組み合わせるパラダイムに従っています。
ただし、これらのメソッドのうち、イベント ストリームの固有の特性を完全に尊重しているものはほとんどありません。
イベント カメラが色の強度ではなく強度の変化と極性のみをエンコードすることを考えると、イベントからオプテ​​ィカル フローを推定することは、RGB 情報から推定するよりもおそらく困難です。
したがって、イベント ガイド型オプティカル フロー改良戦略に RGB 情報を組み込むことを提案します。
さらに、イベントカメラによって提供される時間信号の準連続的な性質を考慮して、イベントベースの中間フレーム合成が単一の長いステージではなく、複数の単純化されたステージで段階的に行われる分割統治戦略を提案します。
合成データセットと現実世界のデータセットの両方に対する広範な実験により、これらの変更により、以前のビデオ フレーム補間方法よりも信頼性が高く現実的な中間フレーム結果が得られることが示されています。
私たちの調査結果は、高い時間密度や高いノイズなどのイベント特性を注意深く考慮することが内挿精度に利益をもたらすことを強調しています。

要約(オリジナル)

Dynamic vision sensors or event cameras provide rich complementary information for video frame interpolation. Existing state-of-the-art methods follow the paradigm of combining both synthesis-based and warping networks. However, few of those methods fully respect the intrinsic characteristics of events streams. Given that event cameras only encode intensity changes and polarity rather than color intensities, estimating optical flow from events is arguably more difficult than from RGB information. We therefore propose to incorporate RGB information in an event-guided optical flow refinement strategy. Moreover, in light of the quasi-continuous nature of the time signals provided by event cameras, we propose a divide-and-conquer strategy in which event-based intermediate frame synthesis happens incrementally in multiple simplified stages rather than in a single, long stage. Extensive experiments on both synthetic and real-world datasets show that these modifications lead to more reliable and realistic intermediate frame results than previous video frame interpolation methods. Our findings underline that a careful consideration of event characteristics such as high temporal density and elevated noise benefits interpolation accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google