ARNOLD: A Benchmark for Language-Grounded Task Learning With Continuous States in Realistic 3D Scenes

要約

【タイトル】リアルな3Dシーンでの連続状態を用いた言語に基づくタスク学習のためのベンチマークARNOLD

【要約】
-現実世界でのタスク学習およびプランニングには、物体の連続的な状態の理解が不可欠である。
-しかし、ほとんどの既存のタスク学習ベンチマークは、離散的 (例えばバイナリ)な目標状態を仮定するため、複雑なタスクの学習およびシミュレーション環境から実世界に学習されたポリシーの転移において課題が生じる。
-また、状態離散化は、行動および状態のグラウンディングに基づく人間の命令の追跡能力を制限する。
-これらの課題に対処するために、現実的な3Dシーンで連続的な状態を用いた言語に基づくタスク学習を評価するARNOLDというベンチマークを提案する。
-ARNOLDは、物体の状態を理解し、連続的な目標のためのポリシーを学習する8つの言語依存タスクで構成されている。
-言語指示された学習を促進するために、テンプレート生成された言語記述を用いた専門家のデモンストレーションを提供している。
-最新の言語依存ポリシー学習モデルを利用してタスクのパフォーマンスを評価する。
-我々の結果は、言語依存操作の現在のモデルが、新しいゴール状態の一般化、シーンの一般化、および物体の一般化において依然として重要な課題を抱えていることを示している。
-これらの知見は、このギャップに対処する新しいアルゴリズムの開発の必要性を強調し、この領域におけるさらなる研究の可能性を浮き彫りにする。
-詳細は、私たちのプロジェクトページhttps://arnold-benchmark.github.ioを参照。

要約(オリジナル)

Understanding the continuous states of objects is essential for task learning and planning in the real world. However, most existing task learning benchmarks assume discrete(e.g., binary) object goal states, which poses challenges for the learning of complex tasks and transferring learned policy from simulated environments to the real world. Furthermore, state discretization limits a robot’s ability to follow human instructions based on the grounding of actions and states. To tackle these challenges, we present ARNOLD, a benchmark that evaluates language-grounded task learning with continuous states in realistic 3D scenes. ARNOLD is comprised of 8 language-conditioned tasks that involve understanding object states and learning policies for continuous goals. To promote language-instructed learning, we provide expert demonstrations with template-generated language descriptions. We assess task performance by utilizing the latest language-conditioned policy learning models. Our results indicate that current models for language-conditioned manipulations continue to experience significant challenges in novel goal-state generalizations, scene generalizations, and object generalizations. These findings highlight the need to develop new algorithms that address this gap and underscore the potential for further research in this area. See our project page at: https://arnold-benchmark.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI