Warped Diffusion: Solving Video Inverse Problems with Image Diffusion Models

要約

逆ビデオ問題を解決するために画像モデルを単純に使用すると、生成されたビデオのちらつき、テクスチャの固着、および時間的不一致が発生することがよくあります。
これらの問題に取り組むために、この論文では、フレームを 2D 空間の連続関数と見なし、ビデオを異なるフレーム間の一連の連続ワーピング変換と見なします。
この観点により、関数空間拡散モデルを画像上でのみトレーニングし、それらを利用して時間的に相関する逆問題を解決することができます。
関数空間拡散モデルは、基礎となる空間変換に関して等変である必要があります。
時間的な一貫性を確保するために、(自己) 等変ソリューションに向けた単純な事後テスト時のガイダンスを導入します。
私たちの方法では、Stable Diffusion XL などの最先端の潜在拡散モデルを導入してビデオ逆問題を解決できます。
私たちは、ビデオ修復と $8\times$ のビデオ超解像度に対する私たちの手法の有効性を実証し、ノイズ変換に基づく既存の手法を上回ります。
生成されたビデオ結果は https://giannisdaras.github.io/warped\_diffusion.github.io/ から提供されます。

要約(オリジナル)

Using image models naively for solving inverse video problems often suffers from flickering, texture-sticking, and temporal inconsistency in generated videos. To tackle these problems, in this paper, we view frames as continuous functions in the 2D space, and videos as a sequence of continuous warping transformations between different frames. This perspective allows us to train function space diffusion models only on images and utilize them to solve temporally correlated inverse problems. The function space diffusion models need to be equivariant with respect to the underlying spatial transformations. To ensure temporal consistency, we introduce a simple post-hoc test-time guidance towards (self)-equivariant solutions. Our method allows us to deploy state-of-the-art latent diffusion models such as Stable Diffusion XL to solve video inverse problems. We demonstrate the effectiveness of our method for video inpainting and $8\times$ video super-resolution, outperforming existing techniques based on noise transformations. We provide generated video results: https://giannisdaras.github.io/warped\_diffusion.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google