Multi-Agent Probabilistic Ensembles with Trajectory Sampling for Connected Autonomous Vehicles

要約

近年、自律走行車（Autonomous Vehicle: AV）が注目を集めており、強化学習（Reinforcement Learning: RL）は自動車の自律性を向上させる上で目覚ましい性能を示している。この点、広く採用されているモデルフリーRL（MFRL）は、学習用のデータサンプルが大量に用意されていることを条件として、コネクテッドAV（CAV）における意思決定タスクの解決を約束する。とはいえ、実際には実現不可能で、学習が不安定になる可能性があります。対照的に、モデルベースRL（MBRL）はサンプル効率の良い学習を実現するが、MBRLの漸近的性能は最先端のMFRLアルゴリズムに遅れをとる可能性がある。さらに、CAVを対象とした研究の多くは、単一のAVの意思決定のみに限定されているため、通信がないことによる性能の低下が強調されている。本研究では、通信手段が限られた複数のCAVの意思決定問題に取り組み、分散型マルチエージェント確率的アンサンブル（Multi-Agent Probabilistic Ensembles with Trajectory Sampling）アルゴリズムMA-PETSを提案する。特に、未知の環境の不確実性をより良く捉えるために、MA-PETSは確率的アンサンブル（PE）ニューラルネットワークを活用し、近隣のCAV間の通信サンプルから学習する。その後、MA-PETSは軌道サンプリング（Trajectory Sampling: TS）に基づくモデル予測制御を開発し、意思決定を行う。これに基づき、通信範囲内のエージェント数に影響されるマルチエージェントグループ後悔限界を導出し、エージェント間の効果的な情報交換をマルチエージェント学習スキームに組み込むことで、最悪の場合、グループ後悔限界の低減に寄与することを数学的に検証する。最後に、MFBLに匹敵するサンプル効率という点で、MA-PETSの優位性を実証的に示す。

要約(オリジナル)

Autonomous Vehicles (AVs) have attracted significant attention in recent years and Reinforcement Learning (RL) has shown remarkable performance in improving the autonomy of vehicles. In that regard, the widely adopted Model-Free RL (MFRL) promises to solve decision-making tasks in connected AVs (CAVs), contingent on the readiness of a significant amount of data samples for training. Nevertheless, it might be infeasible in practice and possibly lead to learning instability. In contrast, Model-Based RL (MBRL) manifests itself in sample-efficient learning, but the asymptotic performance of MBRL might lag behind the state-of-the-art MFRL algorithms. Furthermore, most studies for CAVs are limited to the decision-making of a single AV only, thus underscoring the performance due to the absence of communications. In this study, we try to address the decision-making problem of multiple CAVs with limited communications and propose a decentralized Multi-Agent Probabilistic Ensembles with Trajectory Sampling algorithm MA-PETS. In particular, in order to better capture the uncertainty of the unknown environment, MA-PETS leverages Probabilistic Ensemble (PE) neural networks to learn from communicated samples among neighboring CAVs. Afterwards, MA-PETS capably develops Trajectory Sampling (TS)-based model-predictive control for decision-making. On this basis, we derive the multi-agent group regret bound affected by the number of agents within the communication range and mathematically validate that incorporating effective information exchange among agents into the multi-agent learning scheme contributes to reducing the group regret bound in the worst case. Finally, we empirically demonstrate the superiority of MA-PETS in terms of the sample efficiency comparable to MFBL.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL