TorchDriveEnv: A Reinforcement Learning Benchmark for Autonomous Driving with Reactive, Realistic, and Diverse Non-Playable Characters

要約

自動運転車のトレーニング、テスト、展開には、現実的で効率的なシミュレーターが必要です。
さらに、異なる自律システムで発生するさまざまな問題間のばらつきが大きいため、これらのシミュレータは使いやすく、変更も簡単である必要があります。
これらの問題に対処するために、TorchDriveSim とそのベンチマーク拡張子 TorchDriveEnv を導入します。
TorchDriveEnv は、完全に Python でプログラムされた軽量の強化学習ベンチマークです。これを変更して、さまざまな運動学モデル、エージェント タイプ、交通制御パターンの影響など、学習された車両挙動のさまざまな要素をテストすることができます。
最も重要なことは、多くのリプレイ ベースのシミュレーション アプローチとは異なり、TorchDriveEnv は最先端の動作シミュレーション API と完全に統合されているということです。
これにより、ユーザーは、初期化と運転動作が反応的で現実的で多様であるデータ駆動型のノンプレイアブル キャラクター (NPC) と一緒に運転モデル​​をトレーニングおよび評価できるようになります。
トレーニング環境と検証環境の両方で共通の強化学習ベースラインを評価することで、TorchDriveEnv の効率性とシンプルさを示します。
私たちの実験では、TorchDriveEnv は使いやすいが、解決するのが難しいことがわかりました。

要約(オリジナル)

The training, testing, and deployment, of autonomous vehicles requires realistic and efficient simulators. Moreover, because of the high variability between different problems presented in different autonomous systems, these simulators need to be easy to use, and easy to modify. To address these problems we introduce TorchDriveSim and its benchmark extension TorchDriveEnv. TorchDriveEnv is a lightweight reinforcement learning benchmark programmed entirely in Python, which can be modified to test a number of different factors in learned vehicle behavior, including the effect of varying kinematic models, agent types, and traffic control patterns. Most importantly unlike many replay based simulation approaches, TorchDriveEnv is fully integrated with a state of the art behavioral simulation API. This allows users to train and evaluate driving models alongside data driven Non-Playable Characters (NPC) whose initializations and driving behavior are reactive, realistic, and diverse. We illustrate the efficiency and simplicity of TorchDriveEnv by evaluating common reinforcement learning baselines in both training and validation environments. Our experiments show that TorchDriveEnv is easy to use, but difficult to solve.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google