Video Deblurring by Sharpness Prior Detection and Edge Information

要約

ビデオのブレ除去は、自動運転、顔認識、セキュリティ監視にとって不可欠なタスクです。
従来の方法では、モーション ブラー カーネルを直接推定するため、アーティファクトが発生し、劣悪な結果が生じることがよくあります。
最近のアプローチでは、ビデオ シーケンス内のシャープなフレームの検出を利用して、ぼけ除去を強化しています。
ただし、既存のデータセットは固定数のシャープ フレームに依存しているため、アプリケーションによっては制限が厳しすぎる可能性があり、モデルのトレーニング中にバイアスが生じる可能性があります。
これらの制限に対処し、ドメインの適応性を高めるために、この作業ではまず、シーケンス内のシャープ フレームの頻度をカスタマイズできる新しいデータセットである GoPro Random Sharp (GoProRS) を導入し、より多様なトレーニングとテストのシナリオを可能にします。
さらに、SPEINet と呼ばれる新しいビデオぼやけ除去モデルを提示します。これは、アテンションベースのエンコーダ/デコーダ アーキテクチャ、軽量かつ堅牢なシャープ フレーム検出、およびエッジ抽出フェーズを通じて、シャープ フレームの特徴をぼやけたフレームの再構成に統合します。
広範な実験結果は、SPEINet が複数のデータセットにわたって最先端の手法を上回るパフォーマンスを示し、最近の手法と比較して平均 +3.2% の PSNR 向上を達成していることを示しています。
このような有望な結果を考慮すると、提案されたモデルとデータセットの両方が、シャープなフレームの検出に基づいたビデオのブレ除去の将来の進歩への道を開くと信じています。

要約(オリジナル)

Video deblurring is essential task for autonomous driving, facial recognition, and security surveillance. Traditional methods directly estimate motion blur kernels, often introducing artifacts and leading to poor results. Recent approaches utilize the detection of sharp frames within video sequences to enhance deblurring. However, existing datasets rely on fixed number of sharp frames, which may be too restrictive for some applications and may introduce a bias during model training. To address these limitations and enhance domain adaptability, this work first introduces GoPro Random Sharp (GoProRS), a new dataset where the the frequency of sharp frames within the sequence is customizable, allowing more diverse training and testing scenarios. Furthermore, it presents a novel video deblurring model, called SPEINet, that integrates sharp frame features into blurry frame reconstruction through an attention-based encoder-decoder architecture, a lightweight yet robust sharp frame detection and an edge extraction phase. Extensive experimental results demonstrate that SPEINet outperforms state-of-the-art methods across multiple datasets, achieving an average of +3.2% PSNR improvement over recent techniques. Given such promising results, we believe that both the proposed model and dataset pave the way for future advancements in video deblurring based on the detection of sharp frames.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google