GENMANIP: LLM-driven Simulation for Generalizable Instruction-Following Manipulation

要約

特に堅牢な一般化に関しては、現実世界の設定でのロボット操作は依然として困難です。
既存のシミュレーションプラットフォームには、ポリシーがさまざまな命令やシナリオにどのように適応するかを調査するための十分なサポートがありません。
したがって、彼らはLLMSのような指導に従う基礎モデルへの関心の高まりに遅れをとっています。
このギャップを埋めるために、政策一般化研究に合わせた現実的な卓上シミュレーションプラットフォームであるGenManipを紹介します。
LLM駆動型タスク指向のシーングラフを介した自動パイプラインを備えており、10K注釈付きの3Dオブジェクトアセットを使用して大規模で多様なタスクを合成します。
一般化を体系的に評価するために、Human-in-the-loop補正を介して洗練された200のシナリオのベンチマークであるGenmanip-benchを提示します。
2つのポリシータイプを評価します。（1）認識、推論、計画の基礎モデルを統合するモジュラー操作システム、および（2）スケーラブルなデータ収集を通じて訓練されたエンドツーエンドのポリシー。
結果は、データスケーリングのエンドツーエンドの方法に利点があるが、基礎モデルで強化されたモジュラーシステムは、多様なシナリオ全体でより効果的に一般化することを示しています。
このプラットフォームは、現実的な条件で政策の一般化を進めるための重要な洞察を促進すると予想しています。
プロジェクトページ：https：//genmanip.axi404.top/。

要約(オリジナル)

Robotic manipulation in real-world settings remains challenging, especially regarding robust generalization. Existing simulation platforms lack sufficient support for exploring how policies adapt to varied instructions and scenarios. Thus, they lag behind the growing interest in instruction-following foundation models like LLMs, whose adaptability is crucial yet remains underexplored in fair comparisons. To bridge this gap, we introduce GenManip, a realistic tabletop simulation platform tailored for policy generalization studies. It features an automatic pipeline via LLM-driven task-oriented scene graph to synthesize large-scale, diverse tasks using 10K annotated 3D object assets. To systematically assess generalization, we present GenManip-Bench, a benchmark of 200 scenarios refined via human-in-the-loop corrections. We evaluate two policy types: (1) modular manipulation systems integrating foundation models for perception, reasoning, and planning, and (2) end-to-end policies trained through scalable data collection. Results show that while data scaling benefits end-to-end methods, modular systems enhanced with foundation models generalize more effectively across diverse scenarios. We anticipate this platform to facilitate critical insights for advancing policy generalization in realistic conditions. Project Page: https://genmanip.axi404.top/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google