Promptable Closed-loop Traffic Simulation

要約

シミュレーションは、安全かつ効率的な自動運転開発の基礎となります。
シミュレーション システムの中核では、現実的で反応性があり、制御可能なトラフィック パターンを生成する必要があります。
この論文では、マルチモーダルなプロンプト可能な閉ループ交通シミュレーション フレームワークである ProSim を提案します。
ProSim を使用すると、ユーザーは数値、カテゴリ、またはテキストの複雑なプロンプトを提供して、各エージェントの行動と意図を指示できます。
次に、ProSim は閉ループ方式でトラフィック シナリオを展開し、各エージェントと他のトラフィック参加者との対話をモデル化します。
私たちの実験では、ProSim がさまざまなユーザー プロンプトを与えられた場合に高いプロンプト制御性を実現し、プロンプトが与えられない場合には Waymo Sim Agents Challenge で競争力のあるパフォーマンスに達することが示されました。
プロンプト可能な交通シミュレーションの研究をサポートするために、520,000 を超える現実世界の運転シナリオに対する 1,000 万を超えるテキスト プロンプトを備えた、マルチモーダル プロンプトとシナリオのペアになった運転データセットである ProSim-Instruct-520k を作成します。
ProSim のコードと ProSim-Instruct-520k のデータおよびラベル付けツールを https://ariostgx.github.io/ProSim でリリースする予定です。

要約(オリジナル)

Simulation stands as a cornerstone for safe and efficient autonomous driving development. At its core a simulation system ought to produce realistic, reactive, and controllable traffic patterns. In this paper, we propose ProSim, a multimodal promptable closed-loop traffic simulation framework. ProSim allows the user to give a complex set of numerical, categorical or textual prompts to instruct each agent’s behavior and intention. ProSim then rolls out a traffic scenario in a closed-loop manner, modeling each agent’s interaction with other traffic participants. Our experiments show that ProSim achieves high prompt controllability given different user prompts, while reaching competitive performance on the Waymo Sim Agents Challenge when no prompt is given. To support research on promptable traffic simulation, we create ProSim-Instruct-520k, a multimodal prompt-scenario paired driving dataset with over 10M text prompts for over 520k real-world driving scenarios. We will release code of ProSim as well as data and labeling tools of ProSim-Instruct-520k at https://ariostgx.github.io/ProSim.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google