Long and Short-Term Constraints Driven Safe Reinforcement Learning for Autonomous Driving

要約

強化学習（RL）は意思決定タスクで広く使用されていますが、環境との相互作用の要件により、トレーニングプロセスにおけるエージェントの安全を保証することができず、自動運転などの産業用途が大幅に制限されます。
安全な RL 手法は、トレーニング目標として予想される安全違反コストを制限することでこの問題に対処するために開発されていますが、依然として安全でない状態の発生を許容しており、これは自動運転タスクでは容認できません。
さらに、これらの方法ではコストとリターンの期待値のバランスをとることが難しく、アルゴリズムの学習パフォーマンスの低下につながります。
この論文では、安全な RL のための長期および短期制約 (LSTC) に基づく新しいアルゴリズムを提案します。
短期制約は、車両が探索する短期的な状態の安全性を保証することを目的としていますが、長期制約は、意思決定プロセス全体を通じて車両の全体的な安全性を保証します。
さらに、ラグランジュ乗数に基づく二重制約最適化を備えた安全な RL 手法を開発し、エンドツーエンドの自動運転のトレーニング プロセスを最適化します。
MetaDrive シミュレータ上で包括的な実験が行われました。
実験の結果、提案手法は、最先端の手法と比較して、連続的な状態およびアクションタスクにおいてより高い安全性を実現し、長距離の意思決定タスクにおいてより高い探索性能を示すことが実証されました。

要約(オリジナル)

Reinforcement learning (RL) has been widely used in decision-making tasks, but it cannot guarantee the agent’s safety in the training process due to the requirements of interaction with the environment, which seriously limits its industrial applications such as autonomous driving. Safe RL methods are developed to handle this issue by constraining the expected safety violation costs as a training objective, but they still permit unsafe state occurrence, which is unacceptable in autonomous driving tasks. Moreover, these methods are difficult to achieve a balance between the cost and return expectations, which leads to learning performance degradation for the algorithms. In this paper, we propose a novel algorithm based on the long and short-term constraints (LSTC) for safe RL. The short-term constraint aims to guarantee the short-term state safety that the vehicle explores, while the long-term constraint ensures the overall safety of the vehicle throughout the decision-making process. In addition, we develop a safe RL method with dual-constraint optimization based on the Lagrange multiplier to optimize the training process for end-to-end autonomous driving. Comprehensive experiments were conducted on the MetaDrive simulator. Experimental results demonstrate that the proposed method achieves higher safety in continuous state and action tasks, and exhibits higher exploration performance in long-distance decision-making tasks compared with state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google