Learning Complicated Manipulation Skills via Deterministic Policy with Limited Demonstrations

要約

デモンストレーションと組み合わせることで、深層強化学習はマニピュレーター向けのポリシーを効率的に開発できます。
ただし、実際に十分な高品質のデモンストレーションを収集するには時間がかかります。
また、人間によるデモンストレーションはロボットには不向きかもしれません。
非マルコフ的プロセスとデモンストレーションへの過度の依存は、さらなる課題です。
たとえば、RL エージェントは操作タスクのデモンストレーションの品質に敏感であり、人間からの直接のデモンストレーションに適応するのに苦労していることがわかりました。
したがって、より良いポリシーのトレーニングで強化学習を支援するために、低品質で不十分なデモンストレーションを活用することは困難であり、限られたデモンストレーションがパフォーマンスの低下につながることさえあります。
これらの問題を解決するために、TD3fG (ジェネレータからの TD3 学習) という新しいアルゴリズムを提案します。
専門家から学ぶことから経験から学ぶことへのスムーズな移行を形成します。
このイノベーションは、エージェントがデモンストレーションの有害な影響を減らしながら、事前の知識を抽出するのに役立ちます。
私たちのアルゴリズムは、デモンストレーションが限られている Adroit マニピュレーターおよび MuJoCo タスクでうまく機能します。

要約(オリジナル)

Combined with demonstrations, deep reinforcement learning can efficiently develop policies for manipulators. However, it takes time to collect sufficient high-quality demonstrations in practice. And human demonstrations may be unsuitable for robots. The non-Markovian process and over-reliance on demonstrations are further challenges. For example, we found that RL agents are sensitive to demonstration quality in manipulation tasks and struggle to adapt to demonstrations directly from humans. Thus it is challenging to leverage low-quality and insufficient demonstrations to assist reinforcement learning in training better policies, and sometimes, limited demonstrations even lead to worse performance. We propose a new algorithm named TD3fG (TD3 learning from a generator) to solve these problems. It forms a smooth transition from learning from experts to learning from experience. This innovation can help agents extract prior knowledge while reducing the detrimental effects of the demonstrations. Our algorithm performs well in Adroit manipulator and MuJoCo tasks with limited demonstrations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google