Highly Detailed and Temporal Consistent Video Stylization via Synchronized Multi-Frame Diffusion

要約

テキスト ガイド付きのビデオ間スタイル化により、ソース ビデオの外観がテキストのプロンプトに基づいて別の外観に変換されます。
既存のテキストガイド付き画像拡散モデルは、様式化されたビデオ合成用に拡張できます。
ただし、非常に詳細な外観と時間的一貫性の両方を備えたビデオを生成するのに苦労しています。
この論文では、視覚的な詳細と時間的一貫性の両方を維持するための同期マルチフレーム拡散フレームワークを提案します。
フレームは同期的にノイズ除去されますが、さらに重要なのは、ノイズ除去プロセスの開始時から異なるフレームの情報が共有されることです。
このような情報共有により、手遅れになる前に、フレーム間の全体的な構造と色の分布に関して、ノイズ除去プロセスの初期段階で合意に達することができます。
元のビデオからのオプティカル フローは、フレーム間の接続、つまり情報共有の場として機能します。
私たちは、広範な実験で高品質で多様な結果を生成する方法の有効性を実証します。
私たちの方法は、最先端のビデオ編集方法と比較して、優れた定性的および定量的な結果を示します。

要約(オリジナル)

Text-guided video-to-video stylization transforms the visual appearance of a source video to a different appearance guided on textual prompts. Existing text-guided image diffusion models can be extended for stylized video synthesis. However, they struggle to generate videos with both highly detailed appearance and temporal consistency. In this paper, we propose a synchronized multi-frame diffusion framework to maintain both the visual details and the temporal consistency. Frames are denoised in a synchronous fashion, and more importantly, information of different frames is shared since the beginning of the denoising process. Such information sharing ensures that a consensus, in terms of the overall structure and color distribution, among frames can be reached in the early stage of the denoising process before it is too late. The optical flow from the original video serves as the connection, and hence the venue for information sharing, among frames. We demonstrate the effectiveness of our method in generating high-quality and diverse results in extensive experiments. Our method shows superior qualitative and quantitative results compared to state-of-the-art video editing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google