Learning Generalizable 3D Manipulation With 10 Demonstrations

要約

デモンストレーションから堅牢で汎用性のある操作スキルを学習することは、産業オートメーションやサービス ロボット工学に幅広く応用できるロボット工学における重要な課題のままです。
最近の模倣学習方法は目覚ましい成果を上げていますが、多くの場合、大量の実証データが必要であり、さまざまな空間バリアントにわたって一般化するのが困難です。
この研究では、わずか 10 回のデモン​​ストレーションから操作スキルを学習しながら、異なる初期オブジェクト位置やカメラ視点などの空間変化にも一般化する新しいフレームワークを紹介します。
私たちのフレームワークは 2 つの主要なモジュールで構成されています。Semantic Guided Perception (SGP) は、RGB-D 入力からタスク中心の空間認識型 3D 点群表現を構築します。
空間一般化決定 (SGD) は、ノイズ除去を通じてアクションを生成する効率的な拡散ベースの意思決定モジュールです。
限られたデータから汎化能力を効果的に学習するために、専門家のデモンストレーションに組み込まれた空間知識を捕捉する重要な空間等変トレーニング戦略を導入します。
私たちは、シミュレーション ベンチマークと現実世界のロボット システムの両方で広範な実験を通じてフレームワークを検証します。
私たちの手法は、オブジェクトの姿勢やカメラの視点が大幅に異なる場合でも、一連の困難なタスクで最先端のアプローチと比較して成功率が 60% 向上することを実証しています。
この研究は、現実世界のアプリケーションにおける効率的で一般化可能な操作スキルの学習を促進する大きな可能性を示しています。

要約(オリジナル)

Learning robust and generalizable manipulation skills from demonstrations remains a key challenge in robotics, with broad applications in industrial automation and service robotics. While recent imitation learning methods have achieved impressive results, they often require large amounts of demonstration data and struggle to generalize across different spatial variants. In this work, we present a novel framework that learns manipulation skills from as few as 10 demonstrations, yet still generalizes to spatial variants such as different initial object positions and camera viewpoints. Our framework consists of two key modules: Semantic Guided Perception (SGP), which constructs task-focused, spatially aware 3D point cloud representations from RGB-D inputs; and Spatial Generalized Decision (SGD), an efficient diffusion-based decision-making module that generates actions via denoising. To effectively learn generalization ability from limited data, we introduce a critical spatially equivariant training strategy that captures the spatial knowledge embedded in expert demonstrations. We validate our framework through extensive experiments on both simulation benchmarks and real-world robotic systems. Our method demonstrates a 60 percent improvement in success rates over state-of-the-art approaches on a series of challenging tasks, even with substantial variations in object poses and camera viewpoints. This work shows significant potential for advancing efficient, generalizable manipulation skill learning in real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google