Multi-Agent Reinforcement Learning for Autonomous Driving: A Survey

要約

強化学習 (RL) は、逐次的な意思決定のための強力なツールであり、多くの困難な現実世界のタスクにわたって人間の能力を超えるパフォーマンスを達成しました。
マルチエージェント システム ドメインにおける RL の拡張として、マルチエージェント RL (MARL) は、制御ポリシーを学習する必要があるだけでなく、環境内の他のすべてのエージェントとの相互作用、さまざまなシステム コンポーネント間の相互影響、および
計算リソースの配分。
これにより、アルゴリズム設計の複雑さが増大し、計算リソースに対する要件が高まります。
同時に、シミュレータは、RL の基礎である現実的なデータを取得するために不可欠です。
この論文では、最初にシミュレータの一連のメトリクスを提案し、既存のベンチマークの機能を要約します。
次に、理解を容易にするために、基本的な知識を思い出し、MARL 関連の自動運転およびインテリジェント交通システムに関する最近進んだ研究を統合します。
具体的には、環境モデリング、状態表現、認識単位、アルゴリズム設計を調査します。
最後に、未解決の課題、見通し、機会について話し合います。
この論文が、研究者が MARL テクノロジーを統合し、インテリジェントで自動運転に向けたより洞察力に富んだアイデアを生み出すのに役立つことを願っています。

要約(オリジナル)

Reinforcement Learning (RL) is a potent tool for sequential decision-making and has achieved performance surpassing human capabilities across many challenging real-world tasks. As the extension of RL in the multi-agent system domain, multi-agent RL (MARL) not only need to learn the control policy but also requires consideration regarding interactions with all other agents in the environment, mutual influences among different system components, and the distribution of computational resources. This augments the complexity of algorithmic design and poses higher requirements on computational resources. Simultaneously, simulators are crucial to obtain realistic data, which is the fundamentals of RL. In this paper, we first propose a series of metrics of simulators and summarize the features of existing benchmarks. Second, to ease comprehension, we recall the foundational knowledge and then synthesize the recently advanced studies of MARL-related autonomous driving and intelligent transportation systems. Specifically, we examine their environmental modeling, state representation, perception units, and algorithm design. Conclusively, we discuss open challenges as well as prospects and opportunities. We hope this paper can help the researchers integrate MARL technologies and trigger more insightful ideas toward the intelligent and autonomous driving.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google