Building reliable sim driving agents by scaling self-play

要約

シミュレーションエージェントは、自律車両（AVS）などの人間と相互作用するシステムを設計およびテストするために不可欠です。
これらのエージェントは、AVパフォーマンスのベンチマークからストレステストシステムの制限まで、さまざまな目的を果たしますが、すべてのアプリケーションは1つの重要な要件である信頼性を共有しています。
体系的な実験を可能にするには、シミュレーションエージェントが意図したとおりに動作する必要があります。
分析の信号対雑音比を歪める可能性のある衝突など、望ましくない結果につながる可能性のあるアクションを最小限に抑える必要があります。
信頼性の高いSIMエージェントの基盤として、人間の知覚と制御に関する半現実的な制限の下で、WAYMOオープンモーションデータセットの数千のシナリオにスケーリングの自己プレイを提案します。
単一のGPUでのゼロからのトレーニング、当社のエージェントは1日以内に完全なトレーニングセットをほぼ解決します。
彼らは、目に見えないテストシーンに効果的に一般化し、10,000の保有シナリオで0.8％未満の衝突およびオフロード事件で99.8％の目標完了率を達成します。
分配内の一般化を超えて、私たちのエージェントは分散型シーンに対する部分的な堅牢性を示し、そのような場合にほぼ完璧なパフォーマンスに達するために数分で微調整できます。
事前に訓練されたエージェントをオープンソースし、それらをバッチ付きマルチエージェントシミュレーターと統合します。
エージェント行動のデモンストレーションは、https：//sites.google.com/view/reliable-sim-agentsで見つけることができます。

要約(オリジナル)

Simulation agents are essential for designing and testing systems that interact with humans, such as autonomous vehicles (AVs). These agents serve various purposes, from benchmarking AV performance to stress-testing system limits, but all applications share one key requirement: reliability. To enable systematic experimentation, a simulation agent must behave as intended. It should minimize actions that may lead to undesired outcomes, such as collisions, which can distort the signal-to-noise ratio in analyses. As a foundation for reliable sim agents, we propose scaling self-play to thousands of scenarios on the Waymo Open Motion Dataset under semi-realistic limits on human perception and control. Training from scratch on a single GPU, our agents nearly solve the full training set within a day. They generalize effectively to unseen test scenes, achieving a 99.8% goal completion rate with less than 0.8% combined collision and off-road incidents across 10,000 held-out scenarios. Beyond in-distribution generalization, our agents show partial robustness to out-of-distribution scenes and can be fine-tuned in minutes to reach near-perfect performance in those cases. We open-source the pre-trained agents and integrate them with a batched multi-agent simulator. Demonstrations of agent behaviors can be found at https://sites.google.com/view/reliable-sim-agents.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google