Event-Enhanced Blurry Video Super-Resolution

要約

この論文では、低解像度（LR）とぼやけた入力から高解像度（HR）ビデオの生成を目指して、ぼやけたビデオスーパー解像度（BVSR）のタスクに取り組みます。
現在のBVSRメソッドは、多くの場合、高解像度で鋭い詳細を復元できないため、デコンボリューションのためのモーション情報が不十分であるため、LRフレームの高周波の詳細がないため、顕著なアーティファクトとジッターが発生します。
これらの課題に対処するために、イベントシグナルをBVSRに導入し、新しいイベント強化ネットワークであるEV-DEBLURVSRを提案します。
フレームとイベントから情報を効果的に融合させるために、機能を除去するために、フレーム内イベントからモーション情報をレバレバリングする相互の機能を導入し、フレームからグローバルシーンコンテキストを使用してイベント機能を強化します。
さらに、時間的一貫性を高めるために、変形可能なアライメントプロセスのモーション推定を改善するために、フレーム間イベントと光学フローからの相補的なモーション情報を完全に活用するハイブリッド変形可能なアライメントモジュールを提案します。
広範な評価は、EV-Deblurvsrが合成データセットと現実世界の両方のデータセットで新しい最先端のパフォーマンスを確立することを示しています。
特に、実際のデータでは、私たちの方法は+2.59 dBの精度が高く、最近のBVSRベースラインFMA-NETよりも高速です。
コード：https：//github.com/dachunkai/ev-deblurvsr。

要約(オリジナル)

In this paper, we tackle the task of blurry video super-resolution (BVSR), aiming to generate high-resolution (HR) videos from low-resolution (LR) and blurry inputs. Current BVSR methods often fail to restore sharp details at high resolutions, resulting in noticeable artifacts and jitter due to insufficient motion information for deconvolution and the lack of high-frequency details in LR frames. To address these challenges, we introduce event signals into BVSR and propose a novel event-enhanced network, Ev-DeblurVSR. To effectively fuse information from frames and events for feature deblurring, we introduce a reciprocal feature deblurring module that leverages motion information from intra-frame events to deblur frame features while reciprocally using global scene context from the frames to enhance event features. Furthermore, to enhance temporal consistency, we propose a hybrid deformable alignment module that fully exploits the complementary motion information from inter-frame events and optical flow to improve motion estimation in the deformable alignment process. Extensive evaluations demonstrate that Ev-DeblurVSR establishes a new state-of-the-art performance on both synthetic and real-world datasets. Notably, on real data, our method is +2.59 dB more accurate and 7.28$\times$ faster than the recent best BVSR baseline FMA-Net. Code: https://github.com/DachunKai/Ev-DeblurVSR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google