Learning Rational Subgoals from Demonstrations and Instructions

要約

新しい目標を達成するための効率的な長期計画をサポートする、有用なサブ目標を学習するためのフレームワークを提示します。
私たちのフレームワークの中核にあるのは、合理的なサブゴール (RSG) のコレクションです。これは、本質的に環境状態に対するバイナリ分類子です。
RSG は、セグメント化されていないデモンストレーション トラジェクトリの形式で、弱く注釈が付けられたデータから学習できます。抽象的なタスクの説明は、最初はエージェントに知られていない用語で構成されています (例: collect-wood、craft-boat、go-across-river など)。
）。
私たちのフレームワークは、RSG 間の依存関係も検出します。たとえば、タスク collect-wood は、タスク craft-boat にとって役立つサブゴールです。
目標の説明が与えられると、学習したサブ目標と派生した依存関係により、プランナーへのウェイポイントとして役立つサブ目標を設定することで、A* や RRT などの既製の計画アルゴリズムが容易になり、パフォーマンス時間の効率が大幅に向上します。

要約(オリジナル)

We present a framework for learning useful subgoals that support efficient long-term planning to achieve novel goals. At the core of our framework is a collection of rational subgoals (RSGs), which are essentially binary classifiers over the environmental states. RSGs can be learned from weakly-annotated data, in the form of unsegmented demonstration trajectories, paired with abstract task descriptions, which are composed of terms initially unknown to the agent (e.g., collect-wood then craft-boat then go-across-river). Our framework also discovers dependencies between RSGs, e.g., the task collect-wood is a helpful subgoal for the task craft-boat. Given a goal description, the learned subgoals and the derived dependencies facilitate off-the-shelf planning algorithms, such as A* and RRT, by setting helpful subgoals as waypoints to the planner, which significantly improves performance-time efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google