Learning Minimally-Violating Continuous Control for Infeasible Linear Temporal Logic Specifications

要約

このホワイト ペーパーでは、線形時相論理 (LTL) として表現される複雑な高レベル タスクを満たすために、ターゲット駆動型ナビゲーションの連続時間制御合成について説明します。
基礎となる動的システムが不明な深層強化学習 (DRL) を使用したモデルフリー フレームワーク (不透明なボックス) を提案します。
以前の作業とは異なり、このホワイト ペーパーでは、指定された LTL 仕様が実行不可能であり、したがってグローバルに達成できないシナリオを検討します。
与えられた LTL 式を変更する代わりに、一般的な DRL ベースのアプローチを提供して、最小限の違反でそれを満たします。
これを行うために、オートマトンの同時満足と最小違反コストを必要とする以前の多目的 DRL 問題を単一の目的に変換します。
提案されたアプローチは、潜在的に実行不可能な LTL タスクに対してサンプリングベースのパス プランニング アルゴリズムを使用して DRL エージェントをガイドすることで、DRL の近視眼的な傾向を軽減します。DRL は、長いまたは無限の期間を持つ可能性がある一般的な LTL タスクを学習する際にしばしば問題になります。
これは、実行不可能な LTL 式を、より短い範囲の複数の到達回避サブタスクに分解することによって達成されます。これは、モジュラー DRL アーキテクチャでトレーニングできます。
さらに、パスプランナーを使用して構成空間で密な報酬を設計することにより、複雑で雑然とした環境での DRL の探索プロセスの課題を克服します。
提示されたアプローチの利点は、さまざまな複雑な非線形システムでのテストを通じて実証され、最先端のベースラインと比較されます。
ビデオのデモンストレーションは、https://youtu.be/jBhx6Nv224E にあります。

要約(オリジナル)

This paper explores continuous-time control synthesis for target-driven navigation to satisfy complex high-level tasks expressed as linear temporal logic (LTL). We propose a model-free framework using deep reinforcement learning (DRL) where the underlying dynamic system is unknown (an opaque box). Unlike prior work, this paper considers scenarios where the given LTL specification might be infeasible and therefore cannot be accomplished globally. Instead of modifying the given LTL formula, we provide a general DRL-based approach to satisfy it with minimal violation. To do this, we transform a previously multi-objective DRL problem, which requires simultaneous automata satisfaction and minimum violation cost, into a single objective. By guiding the DRL agent with a sampling-based path planning algorithm for the potentially infeasible LTL task, the proposed approach mitigates the myopic tendencies of DRL, which are often an issue when learning general LTL tasks that can have long or infinite horizons. This is achieved by decomposing an infeasible LTL formula into several reach-avoid sub-tasks with shorter horizons, which can be trained in a modular DRL architecture. Furthermore, we overcome the challenge of the exploration process for DRL in complex and cluttered environments by using path planners to design rewards that are dense in the configuration space. The benefits of the presented approach are demonstrated through testing on various complex nonlinear systems and compared with state-of-the-art baselines. The Video demonstration can be found here:https://youtu.be/jBhx6Nv224E.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google