AdaDemo: Data-Efficient Demonstration Expansion for Generalist Robotic Agent

要約

言語と視覚の基礎モデルの目覚ましい成果に後押しされて、大規模なデモンストレーション データセットを使用した模倣学習によるジェネラリスト ロボット エージェントの開発は、ロボット学習における注目すべき分野となっています。
模倣学習の有効性は、デモンストレーション データセットの量と質に大きく依存します。
この研究では、汎用的なロボット エージェントの学習を促進するために、データ効率の高い方法でデモンストレーションをスケールアップすることを目指しています。
AdaDemo (Adaptive Online Demonstration Expansion) を紹介します。これは、デモンストレーション データセットを積極的かつ継続的に拡張することでマルチタスク ポリシー学習を改善するように設計された一般的なフレームワークです。
AdaDemo は、既存のポリシーで特定された弱点に対処するために新しいデモンストレーションを戦略的に収集し、データ効率を最大化します。
2 つのロボット操作ベンチマーク (RLBench と Adroit) にわたる合計 22 のタスクの包括的な評価を通じて、データ効率の高い方法で高品質のデモンストレーション データセットの生成をガイドすることで、政策のパフォーマンスを段階的に向上させる AdaDemo の機能を実証します。

要約(オリジナル)

Encouraged by the remarkable achievements of language and vision foundation models, developing generalist robotic agents through imitation learning, using large demonstration datasets, has become a prominent area of interest in robot learning. The efficacy of imitation learning is heavily reliant on the quantity and quality of the demonstration datasets. In this study, we aim to scale up demonstrations in a data-efficient way to facilitate the learning of generalist robotic agents. We introduce AdaDemo (Adaptive Online Demonstration Expansion), a general framework designed to improve multi-task policy learning by actively and continually expanding the demonstration dataset. AdaDemo strategically collects new demonstrations to address the identified weakness in the existing policy, ensuring data efficiency is maximized. Through a comprehensive evaluation on a total of 22 tasks across two robotic manipulation benchmarks (RLBench and Adroit), we demonstrate AdaDemo’s capability to progressively improve policy performance by guiding the generation of high-quality demonstration datasets in a data-efficient manner.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google