Improving Autonomous Separation Assurance through Distributed Reinforcement Learning with Attention Networks

要約

Advanced Air Mobility (AAM) は、車両の自律性と電動化された航空機を使用した新しい効率的な輸送モードを導入し、これまで十分なサービスが提供されていなかった市場間での自律的な輸送を提供します。
高密度の環境を低空航空機が安全かつ効率的に航行するには、監視、車両のダイナミクス、気象に関する知識など、多数の複雑な観測を統合する必要があります。
これらの観測結果の処理と推論は、空域内のさまざまな数の航空機との連携を確保しながら、情報にさまざまな不確実性の原因があるため、課題が生じます。
これらの課題は、リアルタイムで安全性が重要な決定を下すという要件と相まって、従来の分離保証技術の使用を妨げます。
速度と垂直方向の操作を使用して、AAM コリドー内で自律的な自己分離機能を提供する分散強化学習フレームワークを紹介します。
この問題はマルコフ決定プロセスとして定式化され、サンプル効率が高く、ポリシーに準拠していないソフト アクター クリティック (SAC) アルゴリズムの新しい拡張機能を開発することで解決されます。
可変長観測処理のためのアテンション ネットワークと分散コンピューティング アーキテクチャの使用を導入して、既存のアプローチと比較して高いトレーニング サンプル スループットを実現します。
包括的な数値研究は、提案されたフレームワークが、さまざまな不確実性源を伴う高密度で動的環境において、航空機の安全かつ効率的な分離を保証できることを示している。

要約(オリジナル)

Advanced Air Mobility (AAM) introduces a new, efficient mode of transportation with the use of vehicle autonomy and electrified aircraft to provide increasingly autonomous transportation between previously underserved markets. Safe and efficient navigation of low altitude aircraft through highly dense environments requires the integration of a multitude of complex observations, such as surveillance, knowledge of vehicle dynamics, and weather. The processing and reasoning on these observations pose challenges due to the various sources of uncertainty in the information while ensuring cooperation with a variable number of aircraft in the airspace. These challenges coupled with the requirement to make safety-critical decisions in real-time rule out the use of conventional separation assurance techniques. We present a decentralized reinforcement learning framework to provide autonomous self-separation capabilities within AAM corridors with the use of speed and vertical maneuvers. The problem is formulated as a Markov Decision Process and solved by developing a novel extension to the sample-efficient, off-policy soft actor-critic (SAC) algorithm. We introduce the use of attention networks for variable-length observation processing and a distributed computing architecture to achieve high training sample throughput as compared to existing approaches. A comprehensive numerical study shows that the proposed framework can ensure safe and efficient separation of aircraft in high density, dynamic environments with various sources of uncertainty.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google