Skill Transfer for Temporally-Extended Task Specifications

要約

家庭や柔軟な製造ラインなど、実世界のドメインにロボットを配置する場合、ロボットがオンデマンドでタスク可能であることが要求される。線形時相論理（LTL）は、タスク間の共通性を自然に誘導する構成文法を持つ、広く使われている仕様言語である。しかし、LTL仕様の強化学習に関する先行研究の大半は、すべての新しい数式を独立して扱っている。我々は、LTL-Transferという新しいアルゴリズムを提案する。これは、訓練タスクのポリシーを、安全性が重要な制約を尊重しながら、未知のLTL仕様の広い配列を満たすことができるポータブルな遷移中心のスキルに分割することによって、タスク間でサブポリシーの再利用を可能にする。Minecraftをモチーフとしたドメインでの実験では、LTL-Transferは、50個のタスク仕様で学習した後、安全制約に違反することなく、500個の未見タスクの90%以上を満たすことができました。また、アナログな家庭環境において、4脚の移動式マニピュレータにLTL-Transferを導入し、ゼロショットで多くのフェッチ＆デリバリータスクに転送する能力を実証した。

要約(オリジナル)

Deploying robots in real-world domains, such as households and flexible manufacturing lines, requires the robots to be taskable on demand. Linear temporal logic (LTL) is a widely-used specification language with a compositional grammar that naturally induces commonalities across tasks. However, the majority of prior research on reinforcement learning with LTL specifications treats every new formula independently. We propose LTL-Transfer, a novel algorithm that enables subpolicy reuse across tasks by segmenting policies for training tasks into portable transition-centric skills capable of satisfying a wide array of unseen LTL specifications while respecting safety-critical constraints. Experiments in a Minecraft-inspired domain show that LTL-Transfer can satisfy over 90% of 500 unseen tasks after training on only 50 task specifications and never violating a safety constraint. We also deployed LTL-Transfer on a quadruped mobile manipulator in an analog household environment to demonstrate its ability to transfer to many fetch and delivery tasks in a zero-shot fashion.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL