GravMAD: Grounded Spatial Value Maps Guided Action Diffusion for Generalized 3D Manipulation

要約

ロボットの指示に従い、多様な3D操作タスクを実行する能力は、ロボット学習に不可欠です。
従来の模倣学習ベースの方法は、見られたタスクではうまく機能しますが、変動性のために斬新で目に見えないタスクと格闘しています。
最近のアプローチでは、大規模な基礎モデルを活用して、新しいタスクの理解を支援し、それによってこの問題を軽減します。
ただし、これらの方法にはタスク固有の学習プロセスがありません。これは、3D環境を正確に理解するために不可欠であり、しばしば実行障害につながることがあります。
この論文では、模倣学習と基礎モデルの強みを組み合わせた、サブゴール駆動型の言語条件付きアクション拡散フレームワークであるGravmadを紹介します。
私たちのアプローチは、言語の指示に基づいてタスクをサブゴールに分割し、トレーニングと推論の両方で補助ガイダンスを可能にします。
トレーニング中に、サブゴールキーポーズ発見を導入して、デモンストレーションからキーサブゴールを特定します。
推論はトレーニングとは異なり、デモンストレーションが利用できないため、事前に訓練された基礎モデルを使用してギャップを埋め、現在のタスクのサブゴールを特定します。
両方のフェーズで、グラブマップはサブゴールから生成され、固定された3D位置と比較してより柔軟な3D空間ガイダンスをGravmadに提供します。
RLBenchの経験的評価は、Gravmadが最先端の方法を大幅に上回ることを示しており、新しいタスクが28.63％改善され、トレーニング中に遭遇したタスクで13.36％の増加が得られます。
現実世界のロボットタスクに関する評価はさらに、Gravmadが実際のタスクについて推論し、関連する視覚情報に関連付けられ、新しいタスクに一般化できることを示しています。
これらの結果は、3D操作におけるGravmadの強力なマルチタスク学習と一般化を示しています。
ビデオデモンストレーションは、https：//gravmad.github.ioで入手できます。

要約(オリジナル)

Robots’ ability to follow language instructions and execute diverse 3D manipulation tasks is vital in robot learning. Traditional imitation learning-based methods perform well on seen tasks but struggle with novel, unseen ones due to variability. Recent approaches leverage large foundation models to assist in understanding novel tasks, thereby mitigating this issue. However, these methods lack a task-specific learning process, which is essential for an accurate understanding of 3D environments, often leading to execution failures. In this paper, we introduce GravMAD, a sub-goal-driven, language-conditioned action diffusion framework that combines the strengths of imitation learning and foundation models. Our approach breaks tasks into sub-goals based on language instructions, allowing auxiliary guidance during both training and inference. During training, we introduce Sub-goal Keypose Discovery to identify key sub-goals from demonstrations. Inference differs from training, as there are no demonstrations available, so we use pre-trained foundation models to bridge the gap and identify sub-goals for the current task. In both phases, GravMaps are generated from sub-goals, providing GravMAD with more flexible 3D spatial guidance compared to fixed 3D positions. Empirical evaluations on RLBench show that GravMAD significantly outperforms state-of-the-art methods, with a 28.63% improvement on novel tasks and a 13.36% gain on tasks encountered during training. Evaluations on real-world robotic tasks further show that GravMAD can reason about real-world tasks, associate them with relevant visual information, and generalize to novel tasks. These results demonstrate GravMAD’s strong multi-task learning and generalization in 3D manipulation. Video demonstrations are available at: https://gravmad.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google