Learning Planning Abstractions from Language

要約

この論文では、逐次的な意思決定ドメインにおける状態とアクションの抽象化を学習するためのフレームワークを紹介します。
私たちのフレームワークである言語からの抽象化計画 (PARL) は、言語注釈付きのデモンストレーションを利用して、象徴的で抽象的なアクション空間を自動的に発見し、それに基づいて潜在的な状態の抽象化を誘導します。
PARL は 3 つの段階で構成されます。1) オブジェクト レベルとアクションの概念の回復、2) 状態の抽象化、抽象アクションの実現可能性、および遷移モデルの学習、3) 抽象アクションに対する低レベルのポリシーの適用。
推論中、タスクの説明が与えられると、PARL はまず潜在遷移関数と実現可能性関数を使用して抽象的なアクション プランを作成し、次に低レベルのポリシーを使用して高レベルのプランを洗練します。
PARL は、新しいオブジェクトのインスタンスと環境、目に見えない概念の構成、およびトレーニングされた設定よりも長い計画期間を必要とするタスクを含むシナリオ全体を一般化します。

要約(オリジナル)

This paper presents a framework for learning state and action abstractions in sequential decision-making domains. Our framework, planning abstraction from language (PARL), utilizes language-annotated demonstrations to automatically discover a symbolic and abstract action space and induce a latent state abstraction based on it. PARL consists of three stages: 1) recovering object-level and action concepts, 2) learning state abstractions, abstract action feasibility, and transition models, and 3) applying low-level policies for abstract actions. During inference, given the task description, PARL first makes abstract action plans using the latent transition and feasibility functions, then refines the high-level plan using low-level policies. PARL generalizes across scenarios involving novel object instances and environments, unseen concept compositions, and tasks that require longer planning horizons than settings it is trained on.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google