How to ensure a safe control strategy? Towards a SRL for urban transit autonomous operation

要約

深層強化学習は、都市鉄道交通の自動運転において潜在的な意思決定能力を徐々に示しています。
しかし、強化学習では学習時や実行時の安全性が保証できないため、これが強化学習の実用化にとって依然として大きな障害となっています。
この欠点を考慮すると、安全性が重要な自律動作ドメインに適用される強化学習は、速度超過動作を回避する安全な制御コマンド シーケンスを生成することができないまま、依然として困難です。
そこで本論文では、都市鉄道自動運転列車の安全なインテリジェント制御のためのSSA-DRLフレームワークを提案する。
提案されたフレームワークは、線形時相論理、強化学習、モンテカルロ木探索と組み合わされており、ポストポーズドシールド、探索木モジュール、DRL フレームワーク、および追加のアクターという 4 つの主なモジュールで構成されています。
さらに、フレームワークの出力は、速度制約、スケジュール制約を満たし、運用プロセスを最適化できます。
最後に、都市鉄道交通の自律運行における意思決定のための提案された SSA-DRL フレームワークが 16 の異なるセクションで評価され、アブレーション実験と計画運行計画との比較を通じてその有効性が実証されます。

要約(オリジナル)

Deep reinforcement learning has gradually shown its latent decision-making ability in urban rail transit autonomous operation. However, since reinforcement learning can not neither guarantee safety during learning nor execution, this is still one of the major obstacles to the practical application of reinforcement learning. Given this drawback, reinforcement learning applied in the safety-critical autonomous operation domain remains challenging without generating a safe control command sequence that avoids overspeed operations. Therefore, a SSA-DRL framework is proposed in this paper for safe intelligent control of urban rail transit autonomous operation trains. The proposed framework is combined with linear temporal logic, reinforcement learning and Monte Carlo tree search and consists of four mainly module: a post-posed shielding, a searching tree module, a DRL framework and an additional actor. Furthermore, the output of the framework can meet speed constraint, schedule constraint and optimize the operation process. Finally, the proposed SSA-DRL framework for decision-making in urban rail transit autonomous operation is evaluated in sixteen different sections, and its effectiveness is demonstrated through an ablation experiment and comparison with the scheduled operation plan.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google