Composing Diffusion Policies for Few-shot Learning of Movement Trajectories

要約

人間は、毎回スキルを一から学び直すことなく、身体スキルをさまざまに組み合わせて実行できます。
例えば、歩行とバットスイングという個別のスキルを組み合わせることで、そのような方針を一から学び直すことなく、歩行中にバットを振ることができるようになります。
ロボットがスキルを組み合わせたり構成したりできるようにすることは、ロボットがより少ない現実世界のサンプルで新しいスキルやタスクをより速く学習できるようにするために不可欠です。
この目的を達成するために、基本ポリシー事前分布の組み合わせを利用することで、新しいスキルの数回の学習を可能にする DSE-Diffusion Score Equilibrium と呼ばれる新しい構成アプローチを提案します。
私たちの方法は、確率的に拡散ポリシーを構成することに基づいており、個別のポリシーよりも少数ショットのデモンストレーション データの分布をより適切にモデル化します。
ここでの私たちの目標は、ロボットの動きを数回のショットで学習することであり、必ずしも目標指向の軌道を学習することではありません。
残念ながら、スキルやモーションと提供されたデモンストレーションとの間の誤差を評価するための汎用指標がありません。
したがって、タスクおよびアクション空間に依存しない、確率的尺度である順運動学カーネル上の最大平均不一致 (MMD-FK) を提案します。
数ショット学習アプローチ DSE を使用することにより、スキルとデモンストレーションの数全体で MMD-FK の 30% 以上の削減を達成できることを示しています。
さらに、5 つのデモンストレーションでロボットに新しい軌道を教えることにより、実際の実験を通じてアプローチの有用性を示します。

要約(オリジナル)

Humans can perform various combinations of physical skills without having to relearn skills from scratch every single time. For example, we can swing a bat when walking without having to re-learn such a policy from scratch by composing the individual skills of walking and bat swinging. Enabling robots to combine or compose skills is essential so they can learn novel skills and tasks faster with fewer real world samples. To this end, we propose a novel compositional approach called DSE- Diffusion Score Equilibrium that enables few-shot learning for novel skills by utilizing a combination of base policy priors. Our method is based on probabilistically composing diffusion policies to better model the few-shot demonstration data-distribution than any individual policy. Our goal here is to learn robot motions few-shot and not necessarily goal oriented trajectories. Unfortunately we lack a general purpose metric to evaluate the error between a skill or motion and the provided demonstrations. Hence, we propose a probabilistic measure – Maximum Mean Discrepancy on the Forward Kinematics Kernel (MMD-FK), that is task and action space agnostic. By using our few-shot learning approach DSE, we show that we are able to achieve a reduction of over 30% in MMD-FK across skills and number of demonstrations. Moreover, we show the utility of our approach through real world experiments by teaching novel trajectories to a robot in 5 demonstrations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google