Learning Novel Skills from Language-Generated Demonstrations

要約

ロボットは、新しいスキルを必要とするタスクに取り組むために、多様なドメイン全体にますます展開されています。
ただし、新しいスキルを獲得するための現在のロボット学習アルゴリズムは、しばしばデモデータセットや環境の相互作用に依存しているため、人件費や潜在的な安全リスクが高くなります。
これらの課題に対処するために、この研究は、ロボットが自然言語の指示から新しいスキルを習得できるようにするスキル学習のフレームワークであるデモゲンを提案しています。
デモゲンは、ビジョン言語モデルとビデオ拡散モデルを活用して、斬新なスキルのデモビデオを生成し、ロボットが新しいスキルを効果的に学習できるようにします。
Metaworldシミュレーション環境での実験的評価は、高忠実度と信頼できるデモを生成するパイプラインの能力を示しています。
生成されたデモンストレーションを使用して、さまざまなスキル学習アルゴリズムが、新しいタスクのオリジナルの3倍の達成率を達成します。
これらの結果は、ロボット学習への新しいアプローチを強調し、新しいロボットスキルの直感的でインテリジェントな獲得の基盤を提供します。
（プロジェクトWebサイト：https：//aoqunjin.github.io/lnslgd/）

要約(オリジナル)

Robots are increasingly deployed across diverse domains to tackle tasks requiring novel skills. However, current robot learning algorithms for acquiring novel skills often rely on demonstration datasets or environment interactions, resulting in high labor costs and potential safety risks. To address these challenges, this study proposes DemoGen, a skill-learning framework that enables robots to acquire novel skills from natural language instructions. DemoGen leverages the vision-language model and the video diffusion model to generate demonstration videos of novel skills, which enabling robots to learn new skills effectively. Experimental evaluations in the MetaWorld simulation environments demonstrate the pipeline’s capability to generate high-fidelity and reliable demonstrations. Using the generated demonstrations, various skill learning algorithms achieve an accomplishment rate three times the original on novel tasks. These results highlight a novel approach to robot learning, offering a foundation for the intuitive and intelligent acquisition of novel robotic skills. (Project website: https://aoqunjin.github.io/LNSLGD/)

arxiv情報

提供元, 利用サービス

arxiv.jp, Google