SMART: Scalable Multi-agent Real-time Simulation via Next-token Prediction

要約

データ駆動型の自動運転モーション生成タスクは、データセット サイズの制限とデータセット間のドメイン ギャップの影響を受けることが多く、現実世界のシナリオでの広範な適用が妨げられます。
この問題に対処するために、ベクトル化された地図とエージェントの軌跡データを離散シーケンス トークンにモデル化する新しい自動運転モーション生成パラダイムである SMART を導入します。
これらのトークンは、デコーダー専用のトランスフォーマー アーキテクチャを通じて処理され、時空間シリーズにわたる次のトークン予測タスクに向けてトレーニングされます。
この GPT スタイルの方法により、モデルは実際の運転シナリオでの動きの分布を学習できます。
SMART は、生成シム エージェント チャレンジのほとんどのメトリクスで最先端のパフォーマンスを達成し、Waymo Open Motion Dataset (WOMD) のリーダーボードで 1 位にランクされ、驚くべき推論速度を実証しました。
さらに、SMART は自動運転モーション ドメインの生成モデルを表し、ゼロショット汎化機能を示します。トレーニングには NuPlan データセットのみを使用し、検証には WOMD のみを使用し、SMART は Sim Agents チャレンジで 0.71 の競争力のあるスコアを達成しました。
最後に、複数のデータセットから 10 億を超えるモーション トークンを収集し、モデルのスケーラビリティを検証しました。
これらの結果は、SMART が最初に 2 つの重要な特性 (スケーラビリティとゼロショット汎化) をエミュレートし、大規模なリアルタイム シミュレーション アプリケーションのニーズを事前に満たしていることを示唆しています。
自動運転分野でのモーション生成モデルの探索を促進するために、すべてのコードを公開しました。

要約(オリジナル)

Data-driven autonomous driving motion generation tasks are frequently impacted by the limitations of dataset size and the domain gap between datasets, which precludes their extensive application in real-world scenarios. To address this issue, we introduce SMART, a novel autonomous driving motion generation paradigm that models vectorized map and agent trajectory data into discrete sequence tokens. These tokens are then processed through a decoder-only transformer architecture to train for the next token prediction task across spatial-temporal series. This GPT-style method allows the model to learn the motion distribution in real driving scenarios. SMART achieves state-of-the-art performance across most of the metrics on the generative Sim Agents challenge, ranking 1st on the leaderboards of Waymo Open Motion Dataset (WOMD), demonstrating remarkable inference speed. Moreover, SMART represents the generative model in the autonomous driving motion domain, exhibiting zero-shot generalization capabilities: Using only the NuPlan dataset for training and WOMD for validation, SMART achieved a competitive score of 0.71 on the Sim Agents challenge. Lastly, we have collected over 1 billion motion tokens from multiple datasets, validating the model’s scalability. These results suggest that SMART has initially emulated two important properties: scalability and zero-shot generalization, and preliminarily meets the needs of large-scale real-time simulation applications. We have released all the code to promote the exploration of models for motion generation in the autonomous driving field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google