Integrating Expert Guidance for Efficient Learning of Safe Overtaking in Autonomous Driving Using Deep Reinforcement Learning

要約

2車線の道路での追い越しは、自動運転車にとって大きな課題です。反対車線に現れた対向車は、車両の決定を変更して追い越しを中止する必要がある可能性があるためです。
深層強化学習 (DRL) は、このような難しい意思決定問題に対して有望であることが示されていますが、特にアクション空間が連続している場合には、大量のデータが必要になります。
この論文では、エキスパート システムからのガイダンスを DRL に組み込んで、自律追い越し設定におけるサンプル効率を高めることを提案します。
この研究で開発されたガイダンス システムは、制約付き反復 LQR および PID コントローラーで構成されています。
新規性は、エキスパート システムの効果を徐々に減少させるフェージング ガイダンス機能の組み込みにあり、エージェントは最初は適切なアクションを迅速に学習し、その後エキスパート システムのパフォーマンスを超えて向上することができます。
したがって、このアプローチは、従来の制御エンジニアリングの強みと学習システムの柔軟性を組み合わせ、自律システムの機能を拡張します。
提案されている自律車両追い越し方法は、特定の DRL アルゴリズムに依存せず、3 つの最先端のアルゴリズムが評価のベースラインとして使用されます。
シミュレーション結果は、エキスパート システムのガイダンスを組み込むことで、サンプル効率と運転の安全性の両方において最先端の DRL アルゴリズムが大幅に向上することを示しています。

要約(オリジナル)

Overtaking on two-lane roads is a great challenge for autonomous vehicles, as oncoming traffic appearing on the opposite lane may require the vehicle to change its decision and abort the overtaking. Deep reinforcement learning (DRL) has shown promise for difficult decision problems such as this, but it requires massive number of data, especially if the action space is continuous. This paper proposes to incorporate guidance from an expert system into DRL to increase its sample efficiency in the autonomous overtaking setting. The guidance system developed in this study is composed of constrained iterative LQR and PID controllers. The novelty lies in the incorporation of a fading guidance function, which gradually decreases the effect of the expert system, allowing the agent to initially learn an appropriate action swiftly and then improve beyond the performance of the expert system. This approach thus combines the strengths of traditional control engineering with the flexibility of learning systems, expanding the capabilities of the autonomous system. The proposed methodology for autonomous vehicle overtaking does not depend on a particular DRL algorithm and three state-of-the-art algorithms are used as baselines for evaluation. Simulation results show that incorporating expert system guidance improves state-of-the-art DRL algorithms greatly in both sample efficiency and driving safety.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google