Diffusion Models for Video Prediction and Infilling

要約

シーケンス内の情報の欠落に関する将来の結果または理由を予測および予測することは、エージェントがインテリジェントな意思決定を行えるようにするための重要な機能です。
これには、強力な時間的にコヒーレントな生成機能が必要です。
拡散モデルは、最近いくつかの生成タスクで大きな成功を収めていますが、ビデオドメインでは広く検討されていません。
画像拡散モデルを3D畳み込みを使用してビデオに拡張し、トレーニング中に新しい条件付け手法を導入するランダムマスクビデオ拡散（RaMViD）を紹介します。
条件付けするマスクを変更することにより、モデルはビデオ予測、入力、およびアップサンプリングを実行できます。
ほとんどの条件付きでトレーニングされた拡散モデルで行われているように、マスクの条件付けに連結を使用しないため、メモリフットプリントを減らすことができます。
ビデオ予測用の2つのベンチマークデータセットと、競争力のある結果を達成したビデオ生成用の1つのベンチマークデータセットでモデルを評価しました。
Kinetics-600では、最先端のビデオ予測を実現しました。

要約(オリジナル)

To predict and anticipate future outcomes or reason about missing information in a sequence is a key ability for agents to be able to make intelligent decisions. This requires strong temporally coherent generative capabilities. Diffusion models have shown huge success in several generative tasks lately, but have not been extensively explored in the video domain. We present Random-Mask Video Diffusion (RaMViD), which extends image diffusion models to videos using 3D convolutions, and introduces a new conditioning technique during training. By varying the mask we condition on, the model is able to perform video prediction, infilling and upsampling. Since we do not use concatenation to condition on a mask, as done in most conditionally trained diffusion models, we are able to decrease the memory footprint. We evaluated the model on two benchmark datasets for video prediction and one for video generation on which we achieved competitive results. On Kinetics-600 we achieved state-of-the-art for video prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google