Video Super-Resolution: All You Need is a Video Diffusion Model

要約

潜在空間に無条件のビデオ生成モデルを備えた拡散後サンプリングフレームワークに基づいて、このペーパーでは、一般的なビデオスーパー解像度アルゴリズムを提示します。
拡散変圧器であるビデオ生成モデルは、時空モデルとして機能します。
現実世界の物理学を学ぶ強力なモデルは、事前知識としてさまざまな種類のモーションパターンを簡単に処理できるため、ピクセルアライメントの光学フローまたはモーションパラメーターの明示的な推定の必要性を排除できると主張します。
さらに、提案されたビデオ拡散トランスモデルの単一のインスタンスは、再トレーニングなしで異なるサンプリング条件に適応できます。
合成および実世界のデータセットの経験的結果は、私たちの方法がビデオの超解像度の課題に対処する強力な能力を持っていることを示しています。

要約(オリジナル)

We present a generic video super-resolution algorithm in this paper, based on the Diffusion Posterior Sampling framework with an unconditional video generation model in latent space. The video generation model, a diffusion transformer, functions as a space-time model. We argue that a powerful model, which learns the physics of the real world, can easily handle various kinds of motion patterns as prior knowledge, thus eliminating the need for explicit estimation of optical flows or motion parameters for pixel alignment. Furthermore, a single instance of the proposed video diffusion transformer model can adapt to different sampling conditions without re-training. Empirical results on synthetic and real-world datasets demonstrate that our method has strong capabilities to address video super-resolution challenges.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google