Video Deblurring with Deconvolution and Aggregation Networks

要約

シングルイメージのデブリングとは対照的に、ビデオデブリングには、ターゲットフレームをDeBlurに使用できるという利点があります。
ただし、既存のビデオデブラリングアルゴリズムは、多くの場合、近隣フレームを適切に使用できず、最適ではないパフォーマンスが発生します。
このホワイトペーパーでは、近隣フレームの情報をよく利用するビデオデブラーのデコンボリューションと集約ネットワーク（DAN）を提案します。
DANでは、デコンボリューション戦略と集約戦略の両方が、デコンボリューションスキームの3つのサブネットワーク（PPN）とアライメントベースのデコンボリューションネットワーク（ABDN）を通じて達成されます。
集約スキームのフレーム集約ネットワーク（FAN）。
デコンボリューション部分では、ぼやけた入力は、非ローカル操作を備えたPPNによって最初に前処理されます。
次に、PPNからの出力フレームは、フレームのアライメントに基づいてABDNによって除去されます。
ファンでは、デコンボリューション部分からのこれらの脱脂質フレームは、ピクセルごとのシャープネスを推測する信頼性マップに従って潜在フレームに結合されます。
3つのサブネットワークの適切な組み合わせは、近隣フレームを適切に使用することにより、ビデオデブラーで好ましいパフォーマンスを実現できます。
実験では、提案されたDANは、パブリックデータセットの定量的評価と定性的評価の両方を通じて、既存の最先端の方法よりも優れていることが実証されました。

要約(オリジナル)

In contrast to single-image deblurring, video deblurring has the advantage that neighbor frames can be utilized to deblur a target frame. However, existing video deblurring algorithms often fail to properly employ the neighbor frames, resulting in sub-optimal performance. In this paper, we propose a deconvolution and aggregation network (DAN) for video deblurring that utilizes the information of neighbor frames well. In DAN, both deconvolution and aggregation strategies are achieved through three sub-networks: the preprocessing network (PPN) and the alignment-based deconvolution network (ABDN) for the deconvolution scheme; the frame aggregation network (FAN) for the aggregation scheme. In the deconvolution part, blurry inputs are first preprocessed by the PPN with non-local operations. Then, the output frames from the PPN are deblurred by the ABDN based on the frame alignment. In the FAN, these deblurred frames from the deconvolution part are combined into a latent frame according to reliability maps which infer pixel-wise sharpness. The proper combination of three sub-networks can achieve favorable performance on video deblurring by using the neighbor frames suitably. In experiments, the proposed DAN was demonstrated to be superior to existing state-of-the-art methods through both quantitative and qualitative evaluations on the public datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google