WorldSimBench: Towards Video Generation Models as World Simulators

要約

予測モデルの最近の進歩により、オブジェクトやシーンの将来の状態を予測する際に優れた機能が実証されました。
しかし、固有の特性に基づく分類の欠如は、予測モデル開発の進歩を妨げ続けています。
さらに、既存のベンチマークは、より高機能で高度に具体化された予測モデルを、具体化された観点から効果的に評価することができません。
この研究では、予測モデルの機能を階層に分類し、WorldSimBench と呼ばれる二重評価フレームワークを提案することで、ワールド シミュレーターを評価する第一歩を踏み出します。
WorldSimBench には、明示的知覚評価と暗黙的操作評価が含まれており、視覚的な観点からの人間の好みの評価と、身体化されたタスクにおけるアクションレベルの評価を含み、オープンエンドの身体化環境、自律、運転、およびロボット操作という 3 つの代表的な身体化シナリオをカバーします。
明示的知覚評価では、人間のきめ細かいフィードバックに基づくビデオ評価データセットである HF-Embodied Dataset を導入します。これを使用して、人間の知覚と一致し、ワールド シミュレーターの視覚的忠実度を明示的に評価する人間の好み評価器をトレーニングします。
暗黙的な操作評価では、生成された状況認識ビデオが動的な環境で正しい制御信号に正確に変換できるかどうかを評価することにより、ワールド シミュレーターのビデオ アクションの一貫性を評価します。
私たちの包括的な評価は、ビデオ生成モデルのさらなる革新を推進できる重要な洞察を提供し、ワールド シミュレーターを身体化された人工知能に向けた極めて重要な進歩として位置づけています。

要約(オリジナル)

Recent advancements in predictive models have demonstrated exceptional capabilities in predicting the future state of objects and scenes. However, the lack of categorization based on inherent characteristics continues to hinder the progress of predictive model development. Additionally, existing benchmarks are unable to effectively evaluate higher-capability, highly embodied predictive models from an embodied perspective. In this work, we classify the functionalities of predictive models into a hierarchy and take the first step in evaluating World Simulators by proposing a dual evaluation framework called WorldSimBench. WorldSimBench includes Explicit Perceptual Evaluation and Implicit Manipulative Evaluation, encompassing human preference assessments from the visual perspective and action-level evaluations in embodied tasks, covering three representative embodied scenarios: Open-Ended Embodied Environment, Autonomous, Driving, and Robot Manipulation. In the Explicit Perceptual Evaluation, we introduce the HF-Embodied Dataset, a video assessment dataset based on fine-grained human feedback, which we use to train a Human Preference Evaluator that aligns with human perception and explicitly assesses the visual fidelity of World Simulators. In the Implicit Manipulative Evaluation, we assess the video-action consistency of World Simulators by evaluating whether the generated situation-aware video can be accurately translated into the correct control signals in dynamic environments. Our comprehensive evaluation offers key insights that can drive further innovation in video generation models, positioning World Simulators as a pivotal advancement toward embodied artificial intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google