Safe and Reliable Training of Learning-Based Aerospace Controllers

要約

近年、深層強化学習 (DRL) アプローチにより、無数の複雑なドメインに対して非常に成功したコントローラーが生成されています。
ただし、これらのモデルの不透明な性質により、航空宇宙システムや安全性が重要な領域では、単一の間違いが悲惨な結果をもたらす可能性があるため、適用可能性が制限されます。
このペーパーでは、DRL コントローラーのトレーニングと検証の両方における新しい進歩を紹介します。これは、DRL コントローラーの安全な動作を確保するのに役立ちます。
K 誘導を利用した検証設計アプローチを紹介し、活性特性の検証におけるその使用法を示します。
さらに、神経リアプノフ バリア証明書の概要を説明し、ケーススタディでその機能を要約します。
最後に、関心のある保証を提供できないにもかかわらず、他の DRL システムの検証には効果的であり、コミュニティにとってさらなる関心を引く可能性がある、他のいくつかの新しい到達可能性ベースのアプローチについて説明します。

要約(オリジナル)

In recent years, deep reinforcement learning (DRL) approaches have generated highly successful controllers for a myriad of complex domains. However, the opaque nature of these models limits their applicability in aerospace systems and safety-critical domains, in which a single mistake can have dire consequences. In this paper, we present novel advancements in both the training and verification of DRL controllers, which can help ensure their safe behavior. We showcase a design-for-verification approach utilizing k-induction and demonstrate its use in verifying liveness properties. In addition, we also give a brief overview of neural Lyapunov Barrier certificates and summarize their capabilities on a case study. Finally, we describe several other novel reachability-based approaches which, despite failing to provide guarantees of interest, could be effective for verification of other DRL systems, and could be of further interest to the community.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google