A Survey on Video Diffusion Models

要約

最近の AI 生成コンテンツ (AIGC) の波は、コンピューター ビジョンで大きな成功を収めており、この達成においては拡散モデルが重要な役割を果たしています。
拡散モデルは、その優れた生成機能により、GAN や自己回帰トランスフォーマーに基づく手法に徐々に取って代わりつつあり、画像の生成や編集だけでなく、ビデオ関連の研究の分野でも優れたパフォーマンスを発揮しています。
しかし、既存の調査は主に画像生成のコンテキストにおける拡散モデルに焦点を当てており、ビデオ領域でのアプリケーションの最新のレビューはほとんどありません。
このギャップに対処するために、この文書では AIGC 時代のビデオ普及モデルの包括的なレビューを示します。
具体的には、拡散モデルの基礎と進化について簡潔に紹介することから始めます。
続いて、ビデオ領域における拡散モデルの研究の概要を紹介し、その作業をビデオ生成、ビデオ編集、およびその他のビデオ理解タスクという 3 つの主要領域に分類します。
私たちは、この分野でのさらなる分類や実践的な貢献を含め、これら 3 つの主要分野の文献を徹底的にレビューします。
最後に、この分野の研究が直面する課題について議論し、潜在的な将来の発展傾向を概説します。
この調査で調査されたビデオ拡散モデルの包括的なリストは、https://github.com/ChenHsing/Awesome-Video-Diffusion-Models で入手できます。

要約(オリジナル)

The recent wave of AI-generated content (AIGC) has witnessed substantial success in computer vision, with the diffusion model playing a crucial role in this achievement. Due to their impressive generative capabilities, diffusion models are gradually superseding methods based on GANs and auto-regressive Transformers, demonstrating exceptional performance not only in image generation and editing, but also in the realm of video-related research. However, existing surveys mainly focus on diffusion models in the context of image generation, with few up-to-date reviews on their application in the video domain. To address this gap, this paper presents a comprehensive review of video diffusion models in the AIGC era. Specifically, we begin with a concise introduction to the fundamentals and evolution of diffusion models. Subsequently, we present an overview of research on diffusion models in the video domain, categorizing the work into three key areas: video generation, video editing, and other video understanding tasks. We conduct a thorough review of the literature in these three key areas, including further categorization and practical contributions in the field. Finally, we discuss the challenges faced by research in this domain and outline potential future developmental trends. A comprehensive list of video diffusion models studied in this survey is available at https://github.com/ChenHsing/Awesome-Video-Diffusion-Models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google