Event-Based Frame Interpolation with Ad-hoc Deblurring

要約

ビデオ フレーム補間のパフォーマンスは、入力シーンでモーションを処理する能力と本質的に相関しています。
以前の研究では、このタスクに対する非同期イベント情報の有用性が認識されていましたが、フレームの露出時間の長さと速度に応じて、動きが補間される入力ビデオにブレをもたらす場合と生じない場合があるという事実を無視しています。
入力ビデオがシャープでフレーム補間に制限されているか、パイプラインでの補間の前に明示的な別のブレ除去ステージを含めてぼやけていると仮定します。
代わりに、アドホックなブレ除去を実行するイベントベースのフレーム補間の一般的な方法を提案し、シャープな入力ビデオとぼやけた入力ビデオの両方で機能します。
私たちのモデルは、補間の時間次元を自然に組み込み、入力フレームとイベントからの情報をそれらの時間的近接性に基づいて適応的に融合する双方向の再帰型ネットワークで構成されています。
さらに、HighREV という名前のイベントとカラー ビデオを含む新しい実世界の高解像度データセットを紹介します。これは、検討されたタスクに挑戦的な評価設定を提供します。
標準の GoPro ベンチマークと私たちのデータセットでの広範な実験は、私たちのネットワークが、フレーム補間、単一画像のブレ除去、および補間とブレ除去の共同タスクに関する以前の最先端の方法よりも一貫して優れていることを示しています。
私たちのコードとデータセットは公開されます。

要約(オリジナル)

The performance of video frame interpolation is inherently correlated with the ability to handle motion in the input scene. Even though previous works recognize the utility of asynchronous event information for this task, they ignore the fact that motion may or may not result in blur in the input video to be interpolated, depending on the length of the exposure time of the frames and the speed of the motion, and assume either that the input video is sharp, restricting themselves to frame interpolation, or that it is blurry, including an explicit, separate deblurring stage before interpolation in their pipeline. We instead propose a general method for event-based frame interpolation that performs deblurring ad-hoc and thus works both on sharp and blurry input videos. Our model consists in a bidirectional recurrent network that naturally incorporates the temporal dimension of interpolation and fuses information from the input frames and the events adaptively based on their temporal proximity. In addition, we introduce a novel real-world high-resolution dataset with events and color videos named HighREV, which provides a challenging evaluation setting for the examined task. Extensive experiments on the standard GoPro benchmark and on our dataset show that our network consistently outperforms previous state-of-the-art methods on frame interpolation, single image deblurring and the joint task of interpolation and deblurring. Our code and dataset will be made publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google