Towards Generalizable Vision-Language Robotic Manipulation: A Benchmark and LLM-guided 3D Policy

要約

言語条件付きロボット ポリシーを新しいタスクに一般化することは、依然として大きな課題であり、適切なシミュレーション ベンチマークの欠如が妨げとなっています。
この論文では、視覚言語によるロボット操作ポリシーの一般化能力を評価するための新しいベンチマークである GemBench を紹介することで、このギャップに対処します。
GemBench には、7 つの一般的なアクション プリミティブと 4 つのレベルの一般化が組み込まれており、新しい配置、剛体で多関節のオブジェクト、および長期にわたる複雑なタスクに及びます。
GemBench で最先端のアプローチを評価し、新しい手法も導入します。
私たちのアプローチ 3D-LOTUS は、言語に基づいた行動予測のために豊富な 3D 情報を活用します。
3D-LOTUS は、既知のタスクでは効率とパフォーマンスの両方で優れていますが、新しいタスクでは苦戦します。
これに対処するために、3D-LOTUS++ を紹介します。これは、3D-LOTUS の動作計画機能と、LLM のタスク計画機能および VLM の物体接地精度を統合するフレームワークです。
3D-LOTUS++ は、GemBench の新しいタスクで最先端のパフォーマンスを実現し、ロボット操作の一般化のための新しい標準を設定します。
ベンチマーク、コード、トレーニングされたモデルは \url{https://www.di.ens.fr/willow/research/gembench/} で入手できます。

要約(オリジナル)

Generalizing language-conditioned robotic policies to new tasks remains a significant challenge, hampered by the lack of suitable simulation benchmarks. In this paper, we address this gap by introducing GemBench, a novel benchmark to assess generalization capabilities of vision-language robotic manipulation policies. GemBench incorporates seven general action primitives and four levels of generalization, spanning novel placements, rigid and articulated objects, and complex long-horizon tasks. We evaluate state-of-the-art approaches on GemBench and also introduce a new method. Our approach 3D-LOTUS leverages rich 3D information for action prediction conditioned on language. While 3D-LOTUS excels in both efficiency and performance on seen tasks, it struggles with novel tasks. To address this, we present 3D-LOTUS++, a framework that integrates 3D-LOTUS’s motion planning capabilities with the task planning capabilities of LLMs and the object grounding accuracy of VLMs. 3D-LOTUS++ achieves state-of-the-art performance on novel tasks of GemBench, setting a new standard for generalization in robotic manipulation. The benchmark, codes and trained models are available at \url{https://www.di.ens.fr/willow/research/gembench/}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google