Mission-driven Exploration for Accelerated Deep Reinforcement Learning with Temporal Logic Task Specifications

要約

この論文では、線形時間論理（LTL）を使用して指定された不明な確率的ダイナミクスと制御目標を持つエージェントの制御ポリシーを設計する問題に対処します。
最近のディープ補強学習（DRL）アルゴリズムは、LTL式の満足度確率を最大化するポリシーを計算することを目的としていますが、多くの場合、学習パフォーマンスが遅いことに苦しんでいます。
これに対処するために、学習速度を大幅に改善する新しい深いQラーニングアルゴリズムを紹介します。
強化されたサンプル効率は、ミッションの成功に貢献する可能性のある方向への探査を優先するミッション主導の探索戦略に由来しています。
これらの方向を特定することは、LTLタスクのオートマトン表現と、エージェントと環境の相互作用を部分的にモデル化する学習したニューラルネットワークに依存しています。
目に見えない環境でのロボットナビゲーションタスクでのアルゴリズムの効率を実証する比較実験を提供します。

要約(オリジナル)

This paper addresses the problem of designing control policies for agents with unknown stochastic dynamics and control objectives specified using Linear Temporal Logic (LTL). Recent Deep Reinforcement Learning (DRL) algorithms have aimed to compute policies that maximize the satisfaction probability of LTL formulas, but they often suffer from slow learning performance. To address this, we introduce a novel Deep Q-learning algorithm that significantly improves learning speed. The enhanced sample efficiency stems from a mission-driven exploration strategy that prioritizes exploration towards directions likely to contribute to mission success. Identifying these directions relies on an automaton representation of the LTL task as well as a learned neural network that partially models the agent-environment interaction. We provide comparative experiments demonstrating the efficiency of our algorithm on robot navigation tasks in unseen environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google