ScenarioNet: Open-Source Platform for Large-Scale Traffic Scenario Simulation and Modeling

要約

Waymo Open DatasetやnuScenesのような大規模な走行データセットは、特に3D検出や軌道予測などの知覚タスクにおいて、自律走行研究を大幅に加速させる。これらのデータセットの走行ログには、現実世界の複雑な交通行動を正確に反映するHDマップと詳細なオブジェクト注釈が含まれているため、大量の複雑な交通シナリオを採取し、シミュレーションでそのデジタルツインを再現することができます。既存のシミュレータでしばしば使用される手作りのシナリオと比較して、実世界から収集されたデータ駆動型のシナリオは、機械学習や自律走行における多くの研究機会を促進することができる。本研究では、大規模な交通シナリオのモデリングとシミュレーションのためのオープンソースプラットフォームであるScenarioNetを紹介する。ScenarioNetは統一されたシナリオ記述フォーマットを定義し、Waymo、nuScenes、Lyft L5、nuPlanデータセットを含む様々な運転データセットの異種データから実世界の交通シナリオの大規模なリポジトリを収集する。これらのシナリオは、MetaDriveシミュレータのBird-Eye-Viewレイアウトから現実的な3Dレンダリングまで、複数のビューでさらに再生し、相互作用させることができます。これは、実世界への配備の前にシミュレーションで自律走行スタックの安全性を評価するためのベンチマークを提供する。さらに、大規模シナリオ生成、模倣学習、シングルエージェントとマルチエージェントの両方における強化学習におけるシナリオネットの強みを実証する。コード、デモビデオ、ウェブサイトはhttps://metadriverse.github.io/scenarionet。

要約(オリジナル)

Large-scale driving datasets such as Waymo Open Dataset and nuScenes substantially accelerate autonomous driving research, especially for perception tasks such as 3D detection and trajectory forecasting. Since the driving logs in these datasets contain HD maps and detailed object annotations which accurately reflect the real-world complexity of traffic behaviors, we can harvest a massive number of complex traffic scenarios and recreate their digital twins in simulation. Compared to the hand-crafted scenarios often used in existing simulators, data-driven scenarios collected from the real world can facilitate many research opportunities in machine learning and autonomous driving. In this work, we present ScenarioNet, an open-source platform for large-scale traffic scenario modeling and simulation. ScenarioNet defines a unified scenario description format and collects a large-scale repository of real-world traffic scenarios from the heterogeneous data in various driving datasets including Waymo, nuScenes, Lyft L5, and nuPlan datasets. These scenarios can be further replayed and interacted with in multiple views from Bird-Eye-View layout to realistic 3D rendering in MetaDrive simulator. This provides a benchmark for evaluating the safety of autonomous driving stacks in simulation before their real-world deployment. We further demonstrate the strengths of ScenarioNet on large-scale scenario generation, imitation learning, and reinforcement learning in both single-agent and multi-agent settings. Code, demo videos, and website are available at https://metadriverse.github.io/scenarionet.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL