Robust Driving Policy Learning with Guided Meta Reinforcement Learning

要約

深層強化学習 (DRL) は、インタラクティブな交通シナリオにおける自律ナビゲーションに関して有望な結果を示していますが、既存の研究では通常、トレーニング環境でソーシャル ビークルを制御するために固定動作ポリシーが採用されています。
これにより、学習された運転ポリシーが環境に過剰適合する可能性があり、目に見えない異なる動作を持つ車両とうまく対話することが困難になります。
この研究では、ソーシャル ビークルの多様な運転ポリシーを単一のメタ ポリシーとしてトレーニングする効率的な方法を紹介します。
ソーシャルビークルのインタラクションベースの報酬関数をランダム化することで、多様な目的を生成し、特定の目的を達成する指針となるポリシーを通じてメタポリシーを効率的にトレーニングすることができます。
さらに、ソーシャルビークルが学習されたメタポリシーによって制御される環境を使用して、自我ビークルの運転ポリシーのロバスト性を強化するためのトレーニング戦略を提案します。
私たちの方法は、困難な制御されていない T 字路シナリオにおける分布外 (OOD) ソーシャル エージェントの行動による目に見えない状況までうまく一般化する自我駆動ポリシーを学習することに成功しました。

要約(オリジナル)

Although deep reinforcement learning (DRL) has shown promising results for autonomous navigation in interactive traffic scenarios, existing work typically adopts a fixed behavior policy to control social vehicles in the training environment. This may cause the learned driving policy to overfit the environment, making it difficult to interact well with vehicles with different, unseen behaviors. In this work, we introduce an efficient method to train diverse driving policies for social vehicles as a single meta-policy. By randomizing the interaction-based reward functions of social vehicles, we can generate diverse objectives and efficiently train the meta-policy through guiding policies that achieve specific objectives. We further propose a training strategy to enhance the robustness of the ego vehicle’s driving policy using the environment where social vehicles are controlled by the learned meta-policy. Our method successfully learns an ego driving policy that generalizes well to unseen situations with out-of-distribution (OOD) social agents’ behaviors in a challenging uncontrolled T-intersection scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google