ARNOLD: A Benchmark for Language-Grounded Task Learning With Continuous States in Realistic 3D Scenes

要約

オブジェクトの連続状態を理解することは、現実世界でのタスクの学習と計画に不可欠です。
ただし、既存のタスク学習ベンチマークのほとんどは、離散的な (バイナリなど) オブジェクトの目標状態を想定しているため、複雑なタスクの学習や、学習したポリシーをシミュレートされた環境から現実世界に転送する際に課題が生じます。
さらに、状態の離散化により、アクションと状態の根拠に基づいて人間の指示に従うロボットの能力が制限されます。
これらの課題に取り組むために、現実的な 3D シーンでの連続状態を使用した言語ベースのタスク学習を評価するベンチマークである ARNOLD を紹介します。
ARNOLD は、オブジェクトの状態の理解と継続的な目標に向けたポリシーの学習を含む 8 つの言語条件付きタスクで構成されています。
言語による学習を促進するために、テンプレートで生成された言語の説明を使用した専門家のデモンストレーションを提供します。
最新の言語条件付きポリシー学習モデルを利用して、タスクのパフォーマンスを評価します。
私たちの結果は、言語条件付き操作の現在のモデルが、新しい目標状態の一般化、シーンの一般化、オブジェクトの一般化において重大な課題に直面し続けていることを示しています。
これらの発見は、このギャップに対処する新しいアルゴリズムを開発する必要性を強調し、この分野でのさらなる研究の可能性を強調しています。
プロジェクトの Web サイト: https://arnold-benchmark.github.io。

要約(オリジナル)

Understanding the continuous states of objects is essential for task learning and planning in the real world. However, most existing task learning benchmarks assume discrete (e.g., binary) object goal states, which poses challenges for the learning of complex tasks and transferring learned policy from simulated environments to the real world. Furthermore, state discretization limits a robot’s ability to follow human instructions based on the grounding of actions and states. To tackle these challenges, we present ARNOLD, a benchmark that evaluates language-grounded task learning with continuous states in realistic 3D scenes. ARNOLD is comprised of 8 language-conditioned tasks that involve understanding object states and learning policies for continuous goals. To promote language-instructed learning, we provide expert demonstrations with template-generated language descriptions. We assess task performance by utilizing the latest language-conditioned policy learning models. Our results indicate that current models for language-conditioned manipulations continue to experience significant challenges in novel goal-state generalizations, scene generalizations, and object generalizations. These findings highlight the need to develop new algorithms that address this gap and underscore the potential for further research in this area. Project website: https://arnold-benchmark.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google