GOATS: Goal Sampling Adaptation for Scooping with Curriculum Reinforcement Learning

要約

この作業では、最初に、強化学習を使用して目標条件付きのロボット水すくいの問題を定式化します。
このタスクは、流動的でマルチモーダルな目標到達の複雑なダイナミクスのために困難です。
このポリシーは、位置の目標と水量の目標の両方を達成するために必要であり、これにより、複雑な目標状態空間が大きくなります。
これらの課題に対処するために、スクーピングのためのゴール サンプリング適応 (GOATS) を導入します。これは、ロボット スクーピング タスクの効果的で一般化可能なポリシーを学習できるカリキュラム強化学習方法です。
具体的には、目標分解報酬定式化を用いて、位置目標分布と量目標分布を補間し、学習過程を通じてカリキュラムを作成します。
その結果、提案された方法は、シミュレーションのベースラインよりも優れており、タンク内の初期水状態の 1000 のバリエーションと大きな目標状態空間の下で、ボウルのすくいタスクとバケツのすくいタスクでそれぞれ 5.46% と 8.71% の量の誤差を達成できます。
シミュレーション環境で効果的であることに加えて、私たちの方法は、さまざまな物理構成と目に見えない設定を持つノイズの多い現実のロボットの水すくいシナリオに効率的に一般化でき、優れた有効性と一般化可能性を示します。
この作業のビデオは、プロジェクト ページ (https://sites.google.com/view/goatscooping) でご覧いただけます。

要約(オリジナル)

In this work, we first formulate the problem of goal-conditioned robotic water scooping with reinforcement learning. This task is challenging due to the complex dynamics of fluid and multi-modal goal-reaching. The policy is required to achieve both position goals and water amount goals, which leads to a large convoluted goal state space. To address these challenges, we introduce Goal Sampling Adaptation for Scooping (GOATS), a curriculum reinforcement learning method that can learn an effective and generalizable policy for robot scooping tasks. Specifically, we use a goal-factorized reward formulation and interpolate position goal distributions and amount goal distributions to create curriculum through the learning process. As a result, our proposed method can outperform the baselines in simulation and achieves 5.46% and 8.71% amount errors on bowl scooping and bucket scooping tasks, respectively, under 1000 variations of initial water states in the tank and a large goal state space. Besides being effective in simulation environments, our method can efficiently generalize to noisy real-robot water-scooping scenarios with different physical configurations and unseen settings, demonstrating superior efficacy and generalizability. The videos of this work are available on our project page: https://sites.google.com/view/goatscooping.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google