Long and Short-Term Constraints Driven Safe Reinforcement Learning for Autonomous Driving

要約

強化学習（RL）は意思決定や制御タスクで広く使用されていますが、環境との相互作用の要件により、トレーニングプロセスにおけるエージェントのリスクが非常に高く、自動運転などの産業用途が大幅に制限されます。
システム。
安全な RL 手法は、トレーニング目標として予想される安全違反コストを制限することでこの問題に対処するために開発されていますが、安全でない状態が発生する確率は依然として高く、これは自動運転タスクでは受け入れられません。
さらに、これらの方法ではコストとリターンの期待値のバランスをとることが難しく、アルゴリズムの学習パフォーマンスの低下につながります。
この論文では、安全な RL のための長期および短期制約 (LSTC) に基づく新しいアルゴリズムを提案します。
短期制約は、車両が探索する短期的な状態の安全性を強化することを目的としており、長期制約は、意思決定プロセス全体を通じて車両の全体的な安全性を強化することを目的としており、両方が車両の安全性を強化するために共同で使用されます。
トレーニングの過程で。
さらに、ラグランジュ乗数に基づく二重制約最適化を備えた安全な RL 手法を開発し、エンドツーエンドの自動運転のトレーニング プロセスを最適化します。
MetaDrive シミュレータ上で包括的な実験が行われました。
実験の結果、提案手法は、最先端の手法と比較して、連続的な状態およびアクションタスクにおいてより高い安全性を実現し、長距離の意思決定タスクにおいてより高い探索性能を示すことが実証されました。

要約(オリジナル)

Reinforcement learning (RL) has been widely used in decision-making and control tasks, but the risk is very high for the agent in the training process due to the requirements of interaction with the environment, which seriously limits its industrial applications such as autonomous driving systems. Safe RL methods are developed to handle this issue by constraining the expected safety violation costs as a training objective, but the occurring probability of an unsafe state is still high, which is unacceptable in autonomous driving tasks. Moreover, these methods are difficult to achieve a balance between the cost and return expectations, which leads to learning performance degradation for the algorithms. In this paper, we propose a novel algorithm based on the long and short-term constraints (LSTC) for safe RL. The short-term constraint aims to enhance the short-term state safety that the vehicle explores, while the long-term constraint enhances the overall safety of the vehicle throughout the decision-making process, both of which are jointly used to enhance the vehicle safety in the training process. In addition, we develop a safe RL method with dual-constraint optimization based on the Lagrange multiplier to optimize the training process for end-to-end autonomous driving. Comprehensive experiments were conducted on the MetaDrive simulator. Experimental results demonstrate that the proposed method achieves higher safety in continuous state and action tasks, and exhibits higher exploration performance in long-distance decision-making tasks compared with state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google