Frame by Familiar Frame: Understanding Replication in Video Diffusion Models

要約

画像生成普及モデルの勢いに基づいて、ビデオベースの普及モデルへの関心が高まっています。
ただし、ビデオ生成には、その高次元の性質、トレーニング データの不足、複雑な時空間関係が含まれるため、より大きな課題が生じます。
画像生成モデルは、膨大なデータ要件により、計算リソースにすでに限界まで負担をかけています。
これらのモデルがトレーニング サンプルの要素を再現する例があり、サンプルの複製に関する懸念や法的紛争さえも引き起こされました。
ビデオ拡散モデルは、さらに制約されたデータセットで動作し、空間コンテンツと時間コンテンツの両方を生成する役割を担っており、トレーニング セットからサンプルを複製する傾向がより強い可能性があります。
問題をさらに悪化させるのは、これらのモデルが、誤ってレプリケーションに報酬を与えるメトリクスを使用して評価されることが多いことです。
私たちの論文では、ビデオ拡散モデルにおけるサンプル複製現象の体系的な調査を紹介します。
私たちは、ビデオ合成のための最近のさまざまな普及モデルを精査し、無条件生成シナリオと条件付き生成シナリオの両方で空間的および時間的コンテンツを複製する傾向を評価します。
私たちの研究では、複製につながる可能性が低い戦略が特定されています。
さらに、レプリケーションを考慮した新しい評価戦略を提案し、元のコンテンツを生成するモデルの能力をより正確に測定します。

要約(オリジナル)

Building on the momentum of image generation diffusion models, there is an increasing interest in video-based diffusion models. However, video generation poses greater challenges due to its higher-dimensional nature, the scarcity of training data, and the complex spatiotemporal relationships involved. Image generation models, due to their extensive data requirements, have already strained computational resources to their limits. There have been instances of these models reproducing elements from the training samples, leading to concerns and even legal disputes over sample replication. Video diffusion models, which operate with even more constrained datasets and are tasked with generating both spatial and temporal content, may be more prone to replicating samples from their training sets. Compounding the issue, these models are often evaluated using metrics that inadvertently reward replication. In our paper, we present a systematic investigation into the phenomenon of sample replication in video diffusion models. We scrutinize various recent diffusion models for video synthesis, assessing their tendency to replicate spatial and temporal content in both unconditional and conditional generation scenarios. Our study identifies strategies that are less likely to lead to replication. Furthermore, we propose new evaluation strategies that take replication into account, offering a more accurate measure of a model’s ability to generate the original content.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google