DrivingDojo Dataset: Advancing Interactive and Knowledge-Enriched Driving World Model

要約

ドライビング ワールド モデルは、複雑な物理ダイナミクスをモデル化できるため、ますます注目を集めています。
ただし、現在の走行データセットではビデオの多様性が限られているため、その優れたモデリング機能はまだ完全には発揮されていません。
複雑な運転ダイナミクスを備えたインタラクティブな世界モデルをトレーニングするために特別に作られた最初のデータセットである DrivingDojo を紹介します。
私たちのデータセットには、完全な運転操作、多様なマルチエージェント相互作用、豊富なオープンワールド運転知識を含むビデオ クリップが含まれており、将来の世界モデル開発への足掛かりとなります。
さらに、世界モデルのアクション命令追従（AIF）ベンチマークを定義し、アクション制御された将来予測を生成するための提案されたデータセットの優位性を実証します。

要約(オリジナル)

Driving world models have gained increasing attention due to their ability to model complex physical dynamics. However, their superb modeling capability is yet to be fully unleashed due to the limited video diversity in current driving datasets. We introduce DrivingDojo, the first dataset tailor-made for training interactive world models with complex driving dynamics. Our dataset features video clips with a complete set of driving maneuvers, diverse multi-agent interplay, and rich open-world driving knowledge, laying a stepping stone for future world model development. We further define an action instruction following (AIF) benchmark for world models and demonstrate the superiority of the proposed dataset for generating action-controlled future predictions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google