Bootstrapping Imitation Learning for Long-horizon Manipulation via Hierarchical Data Collection Space

要約

人間のデモを備えた模倣学習（IL）は、ロボット操作タスクの有望な方法です。
最小限のデモンストレーションはロボットアクションの実行を可能にしますが、高い成功率と一般化を達成するには、高コストが必要です。たとえば、データを継続的に追加するか、複雑なハードウェア/ソフトウェアシステムで人間のループプロセスを段階的に実行する必要があります。
この論文では、データ収集パイプラインの状態/アクション空間と、非ロバストアクションの予測の原因となる根本的な要因を再考します。
この目的のために、シンプルなデータ収集スキームであるロボット模倣学習のための階層データ収集スペース（HDスペース）を導入し、モデルをプロアクティブで高品質のデータでトレーニングするようにします。
具体的には、高レベルの観点から細かい操作タスクを複数のキー原子タスクに分割し、堅牢なILデータを生成することを目的とした、人間のデモのために原子状態/アクションスペースを設計します。
2つのシミュレーションと5つの実際の長老操作タスクで経験的評価を実施し、HDスペースベースのデータを使用したILポリシートレーニングが政策パフォーマンスを大幅に強化できることを実証しています。
HDスペースにより、特に長老操作タスクのために、より強力なポリシーをトレーニングするために、少量のデモデータを使用することができます。
HDスペースは、データの品質を最適化し、データスケーリングをガイドすることに関する洞察を提供することを目指しています。
プロジェクトページ：https：//hd-pace-robotics.github.io。

要約(オリジナル)

Imitation learning (IL) with human demonstrations is a promising method for robotic manipulation tasks. While minimal demonstrations enable robotic action execution, achieving high success rates and generalization requires high cost, e.g., continuously adding data or incrementally conducting human-in-loop processes with complex hardware/software systems. In this paper, we rethink the state/action space of the data collection pipeline as well as the underlying factors responsible for the prediction of non-robust actions. To this end, we introduce a Hierarchical Data Collection Space (HD-Space) for robotic imitation learning, a simple data collection scheme, endowing the model to train with proactive and high-quality data. Specifically, We segment the fine manipulation task into multiple key atomic tasks from a high-level perspective and design atomic state/action spaces for human demonstrations, aiming to generate robust IL data. We conduct empirical evaluations across two simulated and five real-world long-horizon manipulation tasks and demonstrate that IL policy training with HD-Space-based data can achieve significantly enhanced policy performance. HD-Space allows the use of a small amount of demonstration data to train a more powerful policy, particularly for long-horizon manipulation tasks. We aim for HD-Space to offer insights into optimizing data quality and guiding data scaling. project page: https://hd-space-robotics.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google