DiffIR2VR-Zero: Zero-Shot Video Restoration with Diffusion-based Image Restoration Models

要約

この論文では、事前にトレーニングされた画像復元拡散モデルを使用したゼロショットビデオ復元の方法を紹介します。
従来のビデオ復元方法は、多くの場合、さまざまな設定に合わせて再トレーニングする必要があり、さまざまな劣化タイプやデータセットにわたる限られた一般化に苦労しています。
私たちのアプローチでは、キーフレームとローカル フレームの階層型トークン マージ戦略を使用し、オプティカル フローと特徴ベースの最近傍マッチング (潜在マージ) をブレンドするハイブリッド対応メカニズムと組み合わせます。
私たちの方法は、ゼロショットビデオ復元で最高のパフォーマンスを達成するだけでなく、さまざまなデータセットにわたる一般化と極端な劣化（8$\times$の超解像度と高標準偏差のビデオノイズ除去）において、訓練されたモデルを大幅に上回っていることを示します。
私たちは、さまざまな困難なデータセットの定量的指標と視覚的な比較を通じて証拠を提示します。
さらに、当社の技術はあらゆる 2D 復元拡散モデルで動作し、大規模な再トレーニングなしでビデオ強化タスクに多用途で強力なツールを提供します。
この研究は、より効率的で広く適用可能なビデオ復元技術につながり、高品質のビデオ出力が必要な分野の進歩をサポートします。
ビデオ結果については、https://jimmycv07.github.io/DiffIR2VR_web/ のプロジェクト ページをご覧ください。

要約(オリジナル)

This paper introduces a method for zero-shot video restoration using pre-trained image restoration diffusion models. Traditional video restoration methods often need retraining for different settings and struggle with limited generalization across various degradation types and datasets. Our approach uses a hierarchical token merging strategy for keyframes and local frames, combined with a hybrid correspondence mechanism that blends optical flow and feature-based nearest neighbor matching (latent merging). We show that our method not only achieves top performance in zero-shot video restoration but also significantly surpasses trained models in generalization across diverse datasets and extreme degradations (8$\times$ super-resolution and high-standard deviation video denoising). We present evidence through quantitative metrics and visual comparisons on various challenging datasets. Additionally, our technique works with any 2D restoration diffusion model, offering a versatile and powerful tool for video enhancement tasks without extensive retraining. This research leads to more efficient and widely applicable video restoration technologies, supporting advancements in fields that require high-quality video output. See our project page for video results at https://jimmycv07.github.io/DiffIR2VR_web/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google