Video Restoration with a Deep Plug-and-Play Prior

要約

この論文では、Deep Plug-and-Play (PnP) アプローチを介してデジタル ビデオを復元するための新しい方法を紹介します。
ベイジアン形式の下で、この方法は、代替最適化スキームで事前確率の近位演算子の代わりに深い畳み込みノイズ除去ネットワークを使用することにあります。
その方法を直接適用して、劣化したビデオ観測からデジタルビデオを復元することにより、以前の PnP 作業とは一線を画しています。
このようにして、ノイズ除去のために一度トレーニングされたネットワークを、他のビデオ復元タスクに再利用できます。
ビデオのブレ除去、超解像度、およびランダムに欠落しているピクセルの補間に関する私たちの実験はすべて、ビデオのノイズ除去用に特別に設計されたネットワークを使用することの明確な利点を示しています。同様のノイズ除去パフォーマンスを持つ単一の画像ネットワークよりも優れた復元パフォーマンスと優れた時間的安定性が得られるからです。
同じ PnP 形式を使用します。
さらに、私たちの方法は、シーケンスの各フレームに異なる最先端の PnP スキームを個別に適用する場合と比較して有利です。
これにより、ビデオ復元の分野に新しい展望が開かれます。

要約(オリジナル)

This paper presents a novel method for restoring digital videos via a Deep Plug-and-Play (PnP) approach. Under a Bayesian formalism, the method consists in using a deep convolutional denoising network in place of the proximal operator of the prior in an alternating optimization scheme. We distinguish ourselves from prior PnP work by directly applying that method to restore a digital video from a degraded video observation. This way, a network trained once for denoising can be repurposed for other video restoration tasks. Our experiments in video deblurring, super-resolution, and interpolation of random missing pixels all show a clear benefit to using a network specifically designed for video denoising, as it yields better restoration performance and better temporal stability than a single image network with similar denoising performance using the same PnP formulation. Moreover, our method compares favorably to applying a different state-of-the-art PnP scheme separately on each frame of the sequence. This opens new perspectives in the field of video restoration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google