Robot Policy Transfer with Online Demonstrations: An Active Reinforcement Learning Approach

要約

Transfer Learning（TL）は、ロボットがさまざまな環境、タスク、または実施形態にわたって学習ポリシーを転送できるようにする強力なツールです。
このプロセスをさらに促進するために、より柔軟で効率的な政策転送のために、それをデモンストレーション（LFD）からの学習と組み合わせる努力がなされました。
ただし、これらのアプローチは、ポリシー移転が開始される前に収集されたオフラインデモンストレーションにほぼ限定されています。これは、LFDによってもたらされた共分散シフトの本質的な問題に悩まされ、政策転送のパフォーマンスに害を及ぼす可能性があります。
一方、Scratchからの学習設定での広範な作業は、オンラインデモンストレーションが共分散シフトを効果的に緩和し、サンプル効率を向上させ、より良いポリシーパフォーマンスにつながることを示しています。
この作業では、これらの洞察を組み合わせて、オンラインデモンストレーションをポリシー転送設定に紹介します。
限られたデモンストレーション予算の下でオンラインエピソードの専門家デモンストレーションのクエリのタイミングと内容を最適化できるポリシー転送のためのアクティブなLFDアルゴリズムであるオンラインデモンストレーションでポリシー転送を提示します。
ソースタスクから関連するが異なるターゲットタスクに訓練されたポリシーを転送することを目的として、多様な環境特性、タスクの目的、およびロボットの実施形態を介した政策転送を含む8つのロボットシナリオでの方法を評価します。
結果は、オフラインデモンストレーションを備えた2つの標準LFDメソッドとオンラインデモンストレーションを使用した1つのアクティブLFDメソッドと比較して、平均成功率とサンプル効率の観点から、すべてのベースラインを大幅に上回ることを示しています。
さらに、現実世界環境の3つの転送シナリオで転送されたポリシーの予備的なSIMからリアルテストを実施し、実際のロボットマニピュレーターに対するポリシーの有効性を実証します。

要約(オリジナル)

Transfer Learning (TL) is a powerful tool that enables robots to transfer learned policies across different environments, tasks, or embodiments. To further facilitate this process, efforts have been made to combine it with Learning from Demonstrations (LfD) for more flexible and efficient policy transfer. However, these approaches are almost exclusively limited to offline demonstrations collected before policy transfer starts, which may suffer from the intrinsic issue of covariance shift brought by LfD and harm the performance of policy transfer. Meanwhile, extensive work in the learning-from-scratch setting has shown that online demonstrations can effectively alleviate covariance shift and lead to better policy performance with improved sample efficiency. This work combines these insights to introduce online demonstrations into a policy transfer setting. We present Policy Transfer with Online Demonstrations, an active LfD algorithm for policy transfer that can optimize the timing and content of queries for online episodic expert demonstrations under a limited demonstration budget. We evaluate our method in eight robotic scenarios, involving policy transfer across diverse environment characteristics, task objectives, and robotic embodiments, with the aim to transfer a trained policy from a source task to a related but different target task. The results show that our method significantly outperforms all baselines in terms of average success rate and sample efficiency, compared to two canonical LfD methods with offline demonstrations and one active LfD method with online demonstrations. Additionally, we conduct preliminary sim-to-real tests of the transferred policy on three transfer scenarios in the real-world environment, demonstrating the policy effectiveness on a real robot manipulator.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google