Coding-Prior Guided Diffusion Network for Video Deblurring

要約

最近のビデオ脱硫化方法は大幅に進歩していますが、多くの場合、2つの貴重な事前情報を見落としています。（1）モーションベクトル（MV）とビデオコーデックのコード残差（CRS）は、効率的なフレーム間アライメントキューを提供します。
CPGDNETを提示します。CPGDNETは、コーディングプライアーと高品質の拡散プライエアの両方を効果的に活用する新しい2段階のフレームワークです。
まず、コーディング優先特徴の伝播（CPFP）モジュールは、効率的なフレームアライメントとCRSにMVSを使用して注意マスクを生成し、動きの不正確さとテクスチャのバリエーションに対処します。
第二に、コーディング優先制御の生成（CPC）モジュールネットワークは、コーディングプリエを前処理された拡散モデルに統合し、重要な領域を強化し、現実的な詳細を合成するように導きます。
実験により、私たちの方法は、IQAメトリックの最大30％の改善で最先端の知覚品質を達成することを示しています。
コードとcodingprior-augmentedデータセットの両方がオープンソースをかけます。

要約(オリジナル)

While recent video deblurring methods have advanced significantly, they often overlook two valuable prior information: (1) motion vectors (MVs) and coding residuals (CRs) from video codecs, which provide efficient inter-frame alignment cues, and (2) the rich real-world knowledge embedded in pre-trained diffusion generative models. We present CPGDNet, a novel two-stage framework that effectively leverages both coding priors and generative diffusion priors for high-quality deblurring. First, our coding-prior feature propagation (CPFP) module utilizes MVs for efficient frame alignment and CRs to generate attention masks, addressing motion inaccuracies and texture variations. Second, a coding-prior controlled generation (CPC) module network integrates coding priors into a pretrained diffusion model, guiding it to enhance critical regions and synthesize realistic details. Experiments demonstrate our method achieves state-of-the-art perceptual quality with up to 30% improvement in IQA metrics. Both the code and the codingprior-augmented dataset will be open-sourced.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google