Generalized Predictive Model for Autonomous Driving

要約

この論文では、自動運転分野における初の大規模ビデオ予測モデルを紹介します。
高コストのデータ収集の制限を排除し、モデルの一般化能力を強化するために、Web から大量のデータを取得し、それを多様で高品質のテキスト記述と組み合わせます。
結果として得られるデータセットには、さまざまな気象条件や交通シナリオを持つ世界中の地域にわたる 2,000 時間以上の運転ビデオが蓄積されています。
最近の潜在拡散モデルの利点を継承し、GenAD と呼ばれる私たちのモデルは、新しい時間的推論ブロックを使用して運転シーンにおける困難なダイナミクスを処理します。
一般的なビデオ予測や運転特有のビデオ予測を超えて、さまざまな目に見えない運転データセットをゼロショットで一般化できることを示します。
さらに、GenAD はアクション条件付き予測モデルまたはモーション プランナーに適応させることができ、現実世界の運転アプリケーションに大きな可能性を秘めています。

要約(オリジナル)

In this paper, we introduce the first large-scale video prediction model in the autonomous driving discipline. To eliminate the restriction of high-cost data collection and empower the generalization ability of our model, we acquire massive data from the web and pair it with diverse and high-quality text descriptions. The resultant dataset accumulates over 2000 hours of driving videos, spanning areas all over the world with diverse weather conditions and traffic scenarios. Inheriting the merits from recent latent diffusion models, our model, dubbed GenAD, handles the challenging dynamics in driving scenes with novel temporal reasoning blocks. We showcase that it can generalize to various unseen driving datasets in a zero-shot manner, surpassing general or driving-specific video prediction counterparts. Furthermore, GenAD can be adapted into an action-conditioned prediction model or a motion planner, holding great potential for real-world driving applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google