VideoPhy: Evaluating Physical Commonsense for Video Generation

要約

インターネット規模のビデオデータの事前学習における最近の進歩により、幅広い視覚的概念にわたって高品質なビデオを作成し、リアルなモーションを合成し、複雑なオブジェクトをレンダリングできる、テキストからビデオへの生成モデルが開発された。したがって、これらの生成モデルは、物理世界の汎用シミュレータになる可能性を秘めている。しかし、既存のテキストから動画への生成モデルで、この目標までどの程度の距離があるのかは不明である。この目的のために、我々はVideoPhyを提示する。VideoPhyは、生成された動画が実世界の活動（例えば、ビー玉は斜めの表面に置かれると転がり落ちる）の物理的常識に従っているかどうかを評価するために設計されたベンチマークである。具体的には、物理世界における様々な種類の物質間の相互作用（例：固体-固体、固体-流体、流体-流体）を含む多様なプロンプトをキュレートする。次に、オープンモデル（CogVideoXなど）やクローズドモデル（Lumiere、Dream Machineなど）を含む、多様な最先端のテキストから動画への生成モデルから、これらのキャプションを条件とする動画を生成する。我々の人間による評価では、既存のモデルは与えられたテキストプロンプトに忠実なビデオを生成する能力が著しく欠けており、また物理的な常識も欠けていることが明らかになった。具体的には、最も性能の良いモデルであるCogVideoX-5Bは、39.6%のインスタンスでキャプションと物理法則に従ったビデオを生成する。このようにVideoPhyは、ビデオ生成モデルが物理世界を正確にシミュレートするには程遠いことを強調している。最後に、新しくリリースされたモデルの性能を確実に評価するために、自動評価ツールVideoCon-Physicsを提案する。

要約(オリジナル)

Recent advances in internet-scale video data pretraining have led to the development of text-to-video generative models that can create high-quality videos across a broad range of visual concepts, synthesize realistic motions and render complex objects. Hence, these generative models have the potential to become general-purpose simulators of the physical world. However, it is unclear how far we are from this goal with the existing text-to-video generative models. To this end, we present VideoPhy, a benchmark designed to assess whether the generated videos follow physical commonsense for real-world activities (e.g. marbles will roll down when placed on a slanted surface). Specifically, we curate diverse prompts that involve interactions between various material types in the physical world (e.g., solid-solid, solid-fluid, fluid-fluid). We then generate videos conditioned on these captions from diverse state-of-the-art text-to-video generative models, including open models (e.g., CogVideoX) and closed models (e.g., Lumiere, Dream Machine). Our human evaluation reveals that the existing models severely lack the ability to generate videos adhering to the given text prompts, while also lack physical commonsense. Specifically, the best performing model, CogVideoX-5B, generates videos that adhere to the caption and physical laws for 39.6% of the instances. VideoPhy thus highlights that the video generative models are far from accurately simulating the physical world. Finally, we propose an auto-evaluator, VideoCon-Physics, to assess the performance reliably for the newly released models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL