Towards Generalizable Vision-Language Robotic Manipulation: A Benchmark and LLM-guided 3D Policy

要約

言語条件付きロボット操作ポリシーを新しいタスクに汎化することは、適切なシミュレーションベンチマークの欠如によって妨げられており、依然として重要な課題である。本論文では、視覚言語ロボット操作ポリシーの汎化能力を評価するための新しいベンチマークであるGemBenchを導入することで、このギャップに対処する。GemBenchは、7つの一般的なアクションプリミティブと4つの汎化レベルを組み込んでおり、新しい配置、剛体・多関節物体、複雑なロングホライズンタスクに及ぶ。我々はGemBenchで最先端のアプローチを評価し、また新しい手法を紹介する。我々のアプローチ3D-LOTUSは、豊富な3D情報を活用し、言語を条件とした行動予測を行う。3D-LOTUSは見たことのあるタスクでは効率と性能の両面で優れているが、新しいタスクでは苦戦する。この問題を解決するために、我々は3D-LOTUSの動作計画能力とLLMのタスク計画能力、VLMの物体接地精度を統合したフレームワークである3D-LOTUS++を発表する。3D-LOTUS++は、GemBenchの新しいタスクで最先端の性能を達成し、ロボット操作における汎化の新しい基準を打ち立てた。ベンチマーク、コード、学習済みモデルはhttps://www.di.ens.fr/willow/research/gembench/。

要約(オリジナル)

Generalizing language-conditioned robotic policies to new tasks remains a significant challenge, hampered by the lack of suitable simulation benchmarks. In this paper, we address this gap by introducing GemBench, a novel benchmark to assess generalization capabilities of vision-language robotic manipulation policies. GemBench incorporates seven general action primitives and four levels of generalization, spanning novel placements, rigid and articulated objects, and complex long-horizon tasks. We evaluate state-of-the-art approaches on GemBench and also introduce a new method. Our approach 3D-LOTUS leverages rich 3D information for action prediction conditioned on language. While 3D-LOTUS excels in both efficiency and performance on seen tasks, it struggles with novel tasks. To address this, we present 3D-LOTUS++, a framework that integrates 3D-LOTUS’s motion planning capabilities with the task planning capabilities of LLMs and the object grounding accuracy of VLMs. 3D-LOTUS++ achieves state-of-the-art performance on novel tasks of GemBench, setting a new standard for generalization in robotic manipulation. The benchmark, codes and trained models are available at https://www.di.ens.fr/willow/research/gembench/.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL