DemoGen: Synthetic Demonstration Generation for Data-Efficient Visuomotor Policy Learning

要約

視覚運動ポリシーは、ロボット操作に大きな期待を示していますが、多くの場合、効果的なパフォーマンスのためにかなりの量の人間収集データが必要です。
データの要求の根底にある主な理由は、限られた空間一般化機能であり、異なるオブジェクト構成にわたって広範なデータ収集が必要です。
この作業では、自動デモンストレーション生成のための低コストで完全な合成アプローチであるデモゲンを提示します。
タスクごとに1つの人間収集デモンストレーションのみを使用して、Demogenは、実証されたアクション軌道を新しいオブジェクト構成に適合させることにより、空間的に増強されたデモンストレーションを生成します。
視覚観測は、3Dポイントクラウドをモダリティとして活用し、3D編集を介してシーンの被験者を再配置することにより合成されます。
経験的には、デモゲンは、さまざまな範囲の実際の操作タスク全体で政策パフォーマンスを大幅に向上させ、変形可能なオブジェクト、器用なハンドエンドエフェクター、および双方向のプラットフォームを含む挑戦的なシナリオでさえ、その適用性を示しています。
さらに、デモゲンを拡張して、妨害抵抗や障害物回避など、追加の分散能力を可能にすることができます。

要約(オリジナル)

Visuomotor policies have shown great promise in robotic manipulation but often require substantial amounts of human-collected data for effective performance. A key reason underlying the data demands is their limited spatial generalization capability, which necessitates extensive data collection across different object configurations. In this work, we present DemoGen, a low-cost, fully synthetic approach for automatic demonstration generation. Using only one human-collected demonstration per task, DemoGen generates spatially augmented demonstrations by adapting the demonstrated action trajectory to novel object configurations. Visual observations are synthesized by leveraging 3D point clouds as the modality and rearranging the subjects in the scene via 3D editing. Empirically, DemoGen significantly enhances policy performance across a diverse range of real-world manipulation tasks, showing its applicability even in challenging scenarios involving deformable objects, dexterous hand end-effectors, and bimanual platforms. Furthermore, DemoGen can be extended to enable additional out-of-distribution capabilities, including disturbance resistance and obstacle avoidance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google