Overcoming Exploration: Deep Reinforcement Learning for Continuous Control in Cluttered Environments from Temporal Logic Specifications

要約

探索のためのノイズの多いポリシーに依存する深層強化学習 (DRL) を使用したロボット ナビゲーション タスクのモデルフリー連続制御は、報酬の密度に敏感です。
実際には、ロボットは通常、多くの障害物や狭い通路を含む雑然とした環境に配置されます。
高密度の効果的な報酬を設計することは困難であり、トレーニング中に探索の問題が発生します。
このような問題は、タスクが時相論理仕様を使用して記述されている場合、さらに深刻になります。
この作業は、タスクが線形時相論理 (LTL) 式として指定されている場合に、雑然とした環境で動作する未知のダイナミクスを持つロボットを制御するための深いポリシー勾配アルゴリズムを提示します。
トレーニング中の探査の環境上の課題を克服するために、サンプリングベースの方法を統合して目標到達ミッションを効果的に完了することにより、新しい経路計画ガイド付き報酬スキームを提案します。
LTL の満足を促進するために、私たちのアプローチは LTL ミッションをサブゴール到達タスクに分解し、分散方式で解決します。
私たちのフレームワークは、大規模な雑然とした環境で複雑なミッションを担当するロボットのパフォーマンス (有効性、効率) と探査を大幅に改善することが示されています。
ビデオのデモンストレーションは、YouTube チャンネル (https://youtu.be/yMh_NUNWxho) でご覧いただけます。

要約(オリジナル)

Model-free continuous control for robot navigation tasks using Deep Reinforcement Learning (DRL) that relies on noisy policies for exploration is sensitive to the density of rewards. In practice, robots are usually deployed in cluttered environments, containing many obstacles and narrow passageways. Designing dense effective rewards is challenging, resulting in exploration issues during training. Such a problem becomes even more serious when tasks are described using temporal logic specifications. This work presents a deep policy gradient algorithm for controlling a robot with unknown dynamics operating in a cluttered environment when the task is specified as a Linear Temporal Logic (LTL) formula. To overcome the environmental challenge of exploration during training, we propose a novel path planning-guided reward scheme by integrating sampling-based methods to effectively complete goal-reaching missions. To facilitate LTL satisfaction, our approach decomposes the LTL mission into sub-goal-reaching tasks that are solved in a distributed manner. Our framework is shown to significantly improve performance (effectiveness, efficiency) and exploration of robots tasked with complex missions in large-scale cluttered environments. A video demonstration can be found on YouTube Channel: https://youtu.be/yMh_NUNWxho.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google