ScenarioNet: Open-Source Platform for Large-Scale Traffic Scenario Simulation and Modeling

要約

Waymo Open Dataset や nuScenes などの大規模な運転データセットは、特に 3D 検出や軌道予測などの認識タスクの自動運転研究を大幅に加速します。
これらのデータセットの運転ログには、現実世界の交通行動の複雑さを正確に反映する HD マップと詳細なオブジェクトの注釈が含まれているため、膨大な数の複雑な交通シナリオを収集し、シミュレーションでデジタル ツインを再作成できます。
既存のシミュレーターでよく使用される手作りのシナリオと比較して、現実世界から収集されたデータ駆動型のシナリオは、機械学習や自動運転における多くの研究の機会を促進します。
この研究では、大規模な交通シナリオのモデリングとシミュレーションのためのオープンソース プラットフォームである ScenarioNet を紹介します。
ScenarioNet は、統一されたシナリオ記述形式を定義し、Waymo、nuScenes、Lyft L5、nuPlan データセットなどのさまざまな運転データセットの異種データから現実世界の交通シナリオの大規模なリポジトリを収集します。
これらのシナリオは、MetaDrive シミュレーターで鳥瞰図レイアウトからリアルな 3D レンダリングまで、複数のビューでさらに再生および操作できます。
これは、自動運転スタックを実際に展開する前に、シミュレーションで自動運転スタックの安全性を評価するためのベンチマークを提供します。
さらに、シングル エージェント設定とマルチ エージェント設定の両方での大規模シナリオ生成、模倣学習、強化学習における ScenarioNet の強みを実証します。
コード、デモビデオ、Web サイトは https://github.com/metadriverse.github.io/scenarionet から入手できます。

要約(オリジナル)

Large-scale driving datasets such as Waymo Open Dataset and nuScenes substantially accelerate autonomous driving research, especially for perception tasks such as 3D detection and trajectory forecasting. Since the driving logs in these datasets contain HD maps and detailed object annotations which accurately reflect the real-world complexity of traffic behaviors, we can harvest a massive number of complex traffic scenarios and recreate their digital twins in simulation. Compared to the hand-crafted scenarios often used in existing simulators, data-driven scenarios collected from the real world can facilitate many research opportunities in machine learning and autonomous driving. In this work, we present ScenarioNet, an open-source platform for large-scale traffic scenario modeling and simulation. ScenarioNet defines a unified scenario description format and collects a large-scale repository of real-world traffic scenarios from the heterogeneous data in various driving datasets including Waymo, nuScenes, Lyft L5, and nuPlan datasets. These scenarios can be further replayed and interacted with in multiple views from Bird-Eye-View layout to realistic 3D rendering in MetaDrive simulator. This provides a benchmark for evaluating the safety of autonomous driving stacks in simulation before their real-world deployment. We further demonstrate the strengths of ScenarioNet on large-scale scenario generation, imitation learning, and reinforcement learning in both single-agent and multi-agent settings. Code, demo videos, and website are available at https://github.com/metadriverse.github.io/scenarionet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google