Learning to Model Diverse Driving Behaviors in Highly Interactive Autonomous Driving Scenarios with Multi-Agent Reinforcement Learning

要約

マルチエージェント強化学習 (MARL) を通じて訓練された自動運転車は、多くの運転シナリオで目覚ましい結果を示しています。
ただし、これらの訓練されたポリシーのパフォーマンスは、多様な運転スタイルや性格に直面した場合、特に高度にインタラクティブな状況で影響を受ける可能性があります。
これは、従来の MARL アルゴリズムは通常、すべてのエージェント間の完全な協調動作を前提として動作し、トレーニング中にチームの報酬を最大化することに重点を置いているためです。
この問題に対処するために、私たちはパーソナリティ モデリング ネットワーク (PeMN) を導入します。これには、高度にインタラクティブなシナリオでのさまざまなインタラクションをモデル化するための協力価値関数とパーソナリティ パラメーターが含まれています。
PeMN はまた、多様な動作を伴うバックグラウンド トラフィック フローのトレーニングを可能にし、それによって自車両のパフォーマンスと汎用性を向上させます。
インタラクティブ性の高い運転シナリオにさまざまな性格パラメーターを組み込んだ当社の広範な実験研究は、性格パラメーターが多様な運転スタイルを効果的にモデル化し、PeMN でトレーニングされたポリシーが従来の MARL 手法と比較して優れた一般化を示していることを実証しています。

要約(オリジナル)

Autonomous vehicles trained through Multi-Agent Reinforcement Learning (MARL) have shown impressive results in many driving scenarios. However, the performance of these trained policies can be impacted when faced with diverse driving styles and personalities, particularly in highly interactive situations. This is because conventional MARL algorithms usually operate under the assumption of fully cooperative behavior among all agents and focus on maximizing team rewards during training. To address this issue, we introduce the Personality Modeling Network (PeMN), which includes a cooperation value function and personality parameters to model the varied interactions in high-interactive scenarios. The PeMN also enables the training of a background traffic flow with diverse behaviors, thereby improving the performance and generalization of the ego vehicle. Our extensive experimental studies, which incorporate different personality parameters in high-interactive driving scenarios, demonstrate that the personality parameters effectively model diverse driving styles and that policies trained with PeMN demonstrate better generalization compared to traditional MARL methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google