On Time-Indexing as Inductive Bias in Deep RL for Sequential Manipulation Tasks

要約

複雑な操作タスクを解決する際、操作ポリシーは多くの場合、これらのタスクを達成するために一連の多様なスキルを学習する必要があります。
スキルのセットは多くの場合、非常に多様です。それぞれのスキルには、アクションと状態がまったく異なる分布を持つ場合があります。
標準的なディープ ポリシー学習アルゴリズムは、多くの場合、単一の出力ヘッド (決定論的または確率論的) を備えたディープ ニューラル ネットワークとしてポリシーをモデル化します。
この構造では、ネットワークが内部でモード間の切り替えを学習する必要があるため、サンプル効率が低下し、パフォーマンスが低下する可能性があります。
この論文では、非常に多くの操作タスクに必要なスキル学習に役立つ単純な構造を検討します。
具体的には、さまざまなアクションヘッドを一定期間連続して実行するポリシーアーキテクチャを提案し、手を伸ばす、つかむなどの初歩的なスキルの学習を可能にします。
メタワールドのタスクに関する私たちの経験的評価により、この単純な構造が標準的なポリシー学習方法よりも優れていることが明らかになり、スキル習得の向上の可能性が強調されています。

要約(オリジナル)

While solving complex manipulation tasks, manipulation policies often need to learn a set of diverse skills to accomplish these tasks. The set of skills is often quite multimodal – each one may have a quite distinct distribution of actions and states. Standard deep policy-learning algorithms often model policies as deep neural networks with a single output head (deterministic or stochastic). This structure requires the network to learn to switch between modes internally, which can lead to lower sample efficiency and poor performance. In this paper we explore a simple structure which is conducive to skill learning required for so many of the manipulation tasks. Specifically, we propose a policy architecture that sequentially executes different action heads for fixed durations, enabling the learning of primitive skills such as reaching and grasping. Our empirical evaluation on the Metaworld tasks reveals that this simple structure outperforms standard policy learning methods, highlighting its potential for improved skill acquisition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google