Gen2Act: Human Video Generation in Novel Scenarios enables Generalizable Robot Manipulation

要約

ロボット操作ポリシーは、どのようにして、目に見えないオブジェクトタイプや新しい動作を伴う新しいタスクに一般化できるのでしょうか?
この論文では、人間のビデオ生成を通じて Web データから動作情報を予測し、生成されたビデオに基づいてロボットのポリシーを調整するという観点からソリューションを提供します。
高価なロボット データ収集を拡張しようとする代わりに、一般化を可能にするために、簡単に入手できる Web データでトレーニングされたビデオ生成モデルを活用する方法を示します。
私たちのアプローチ Gen2Act は、言語条件付き操作をゼロショットの人間ビデオ生成としてキャストし、その後、生成されたビデオを条件とした単一ポリシーを実行します。
ポリシーをトレーニングするために、ビデオ予測モデルがトレーニングされたものと比較して、桁違いに少ないロボット インタラクション データを使用します。
Gen2Act ではビデオ モデルを微調整する必要はまったくなく、人間のビデオを生成するために事前トレーニングされたモデルを直接使用します。
現実世界のさまざまなシナリオに関する私たちの結果は、Gen2Act がどのようにして目に見えないオブジェクト タイプを操作し、ロボット データに存在しないタスクの新しい動作を実行できるかを示しています。
ビデオは https://homangab.github.io/gen2act/ にあります。

要約(オリジナル)

How can robot manipulation policies generalize to novel tasks involving unseen object types and new motions? In this paper, we provide a solution in terms of predicting motion information from web data through human video generation and conditioning a robot policy on the generated video. Instead of attempting to scale robot data collection which is expensive, we show how we can leverage video generation models trained on easily available web data, for enabling generalization. Our approach Gen2Act casts language-conditioned manipulation as zero-shot human video generation followed by execution with a single policy conditioned on the generated video. To train the policy, we use an order of magnitude less robot interaction data compared to what the video prediction model was trained on. Gen2Act doesn’t require fine-tuning the video model at all and we directly use a pre-trained model for generating human videos. Our results on diverse real-world scenarios show how Gen2Act enables manipulating unseen object types and performing novel motions for tasks not present in the robot data. Videos are at https://homangab.github.io/gen2act/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google