Hierarchical Masked 3D Diffusion Model for Video Outpainting

要約

ビデオ アウトペイントは、ビデオ フレームの端にある欠落領域を適切に補完することを目的としています。
画像のアウトペイントと比較すると、モデルは塗りつぶされた領域の時間的一貫性を維持する必要があるため、さらなる課題が生じます。
この論文では、ビデオ アウトペイント用のマスクされた 3D 拡散モデルを紹介します。
マスク モデリングの手法を使用して 3D 拡散モデルをトレーニングします。
これにより、複数のガイド フレームを使用して複数のビデオ クリップ推論の結果を接続できるため、時間的な一貫性が確保され、隣接するフレーム間のジッターが軽減されます。
一方、ビデオのグローバル フレームをプロンプトとして抽出し、クロスアテンションを使用して現在のビデオ クリップ以外の情報を取得するようにモデルを誘導します。
また、アーティファクトの蓄積の問題を軽減するために、粗い推論から細かい推論へのハイブリッド推論パイプラインも導入します。
既存の粗密パイプラインは充填戦略のみを使用しますが、疎フレームの時間間隔が長すぎるため、品質の低下が生じます。
私たちのパイプラインはマスク モデリングの双方向学習の恩恵を受けているため、スパース フレームの生成時に充填と補間のハイブリッド戦略を採用できます。
実験では、私たちの方法がビデオペインティングタスクを上回る最先端の結果を達成することを示しています。
詳細な結果とコードは https://fanfanda.github.io/M3DDM/ で提供されています。

要約(オリジナル)

Video outpainting aims to adequately complete missing areas at the edges of video frames. Compared to image outpainting, it presents an additional challenge as the model should maintain the temporal consistency of the filled area. In this paper, we introduce a masked 3D diffusion model for video outpainting. We use the technique of mask modeling to train the 3D diffusion model. This allows us to use multiple guide frames to connect the results of multiple video clip inferences, thus ensuring temporal consistency and reducing jitter between adjacent frames. Meanwhile, we extract the global frames of the video as prompts and guide the model to obtain information other than the current video clip using cross-attention. We also introduce a hybrid coarse-to-fine inference pipeline to alleviate the artifact accumulation problem. The existing coarse-to-fine pipeline only uses the infilling strategy, which brings degradation because the time interval of the sparse frames is too large. Our pipeline benefits from bidirectional learning of the mask modeling and thus can employ a hybrid strategy of infilling and interpolation when generating sparse frames. Experiments show that our method achieves state-of-the-art results in video outpainting tasks. More results and codes are provided at our https://fanfanda.github.io/M3DDM/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google