LTL-Transfer: Skill Transfer for Temporal Task Specification

要約

家庭や製造ラインなどの実世界の環境にロボットを導入するには、安全上の制約に違反することなく、新しいタスク仕様全体にわたって一般化する必要があります。
線形時相論理 (LTL) は、安全性の保証を維持しながらタスク間の共通性を自然に誘導する構成文法を備えた、広く使用されているタスク仕様言語です。
ただし、LTL 仕様を使用した強化学習に関するこれまでの研究のほとんどは、すべての新しいタスクを独立して処理するため、一般化するには大量のトレーニング データが必要です。
私たちは、さまざまな新しい LTL タスク仕様を安全に満たすために、トレーニング中に学習したタスクに依存しないスキルを構成するゼロショット転送アルゴリズムである LTL-Transfer を提案します。
Minecraft からインスピレーションを得たドメインでの実験では、わずか 50 個のタスクでトレーニングした後、LTL-Transfer が安全性の制約に違反することなく、100 個の挑戦的な目に見えないタスクの 90% 以上と、よく使用される 300 個の新しいタスクの 100% を解決できることが示されています。
私たちは LTL-Transfer を四足モバイル マニピュレータのタスク計画レベルに導入し、フェッチアンドデリバリおよびナビゲーション タスクに対するゼロショット転送機能を実証しました。

要約(オリジナル)

Deploying robots in real-world environments, such as households and manufacturing lines, requires generalization across novel task specifications without violating safety constraints. Linear temporal logic (LTL) is a widely used task specification language with a compositional grammar that naturally induces commonalities among tasks while preserving safety guarantees. However, most prior work on reinforcement learning with LTL specifications treats every new task independently, thus requiring large amounts of training data to generalize. We propose LTL-Transfer, a zero-shot transfer algorithm that composes task-agnostic skills learned during training to safely satisfy a wide variety of novel LTL task specifications. Experiments in Minecraft-inspired domains show that after training on only 50 tasks, LTL-Transfer can solve over 90% of 100 challenging unseen tasks and 100% of 300 commonly used novel tasks without violating any safety constraints. We deployed LTL-Transfer at the task-planning level of a quadruped mobile manipulator to demonstrate its zero-shot transfer ability for fetch-and-deliver and navigation tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google