GravMAD: Grounded Spatial Value Maps Guided Action Diffusion for Generalized 3D Manipulation

要約

言語の指示に従い、さまざまな 3D タスクを実行するロボットの能力は、ロボットの学習において不可欠です。
従来の模倣学習ベースの方法は、目に見えるタスクではうまく機能しますが、変動性のために新しい目に見えないタスクでは困難を伴います。
最近のアプローチでは、大規模な基礎モデルを利用して新しいタスクの理解を支援し、それによってこの問題を軽減しています。
ただし、これらの方法には、3D 環境を正確に理解するために不可欠なタスク固有の学習プロセスが欠けており、実行の失敗につながることがよくあります。
この論文では、模倣学習と基礎モデルの長所を組み合わせた、サブ目標駆動型の言語条件付きアクション拡散フレームワークである GravMAD を紹介します。
私たちのアプローチは、言語指示に基づいてタスクをサブ目標に分割し、トレーニングと推論の両方で補助的なガイダンスを可能にします。
トレーニング中に、デモンストレーションから主要なサブ目標を特定するために、サブ目標キーポーズ検出を導入します。
推論はトレーニングとは異なり、デモンストレーションが利用できないため、事前トレーニングされた基礎モデルを使用してギャップを埋め、現在のタスクのサブ目標を特定します。
どちらのフェーズでも、GravMap はサブゴールから生成され、固定された 3D 位置と比較して柔軟な 3D 空間ガイドを提供します。
RLBench の経験的評価では、GravMAD が最先端の手法を大幅に上回っており、新しいタスクでは 28.63% の改善があり、トレーニング中に遭遇したタスクでは 13.36% の向上が見られます。
これらの結果は、GravMAD の 3D 操作における強力なマルチタスク学習と一般化を示しています。
ビデオデモは https://gravmad.github.io でご覧いただけます。

要約(オリジナル)

Robots’ ability to follow language instructions and execute diverse 3D tasks is vital in robot learning. Traditional imitation learning-based methods perform well on seen tasks but struggle with novel, unseen ones due to variability. Recent approaches leverage large foundation models to assist in understanding novel tasks, thereby mitigating this issue. However, these methods lack a task-specific learning process, which is essential for an accurate understanding of 3D environments, often leading to execution failures. In this paper, we introduce GravMAD, a sub-goal-driven, language-conditioned action diffusion framework that combines the strengths of imitation learning and foundation models. Our approach breaks tasks into sub-goals based on language instructions, allowing auxiliary guidance during both training and inference. During training, we introduce Sub-goal Keypose Discovery to identify key sub-goals from demonstrations. Inference differs from training, as there are no demonstrations available, so we use pre-trained foundation models to bridge the gap and identify sub-goals for the current task. In both phases, GravMaps are generated from sub-goals, providing flexible 3D spatial guidance compared to fixed 3D positions. Empirical evaluations on RLBench show that GravMAD significantly outperforms state-of-the-art methods, with a 28.63% improvement on novel tasks and a 13.36% gain on tasks encountered during training. These results demonstrate GravMAD’s strong multi-task learning and generalization in 3D manipulation. Video demonstrations are available at: https://gravmad.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google