DeformPAM: Data-Efficient Learning for Long-horizon Deformable Object Manipulation via Preference-based Action Alignment

要約

近年、ロボット操作の分野では模倣学習が進んでいます。
ただし、高次元の状態空間、複雑なダイナミクス、マルチモーダルなアクション分布など、複雑な長期変形可能なオブジェクトのタスクを扱う場合には、依然として課題に直面しています。
従来の模倣学習方法では、多くの場合、大量のデータが必要となり、これらのタスクで分布の変化や累積誤差が発生します。
これらの問題に対処するために、私たちは、好みの学習と報酬に基づくアクションの選択に基づいた、データ効率の高い一般学習フレームワーク (DeformPAM) を提案します。
DeformPAM は、長期的なタスクを複数のアクション プリミティブに分解し、3D 点群入力と拡散モデルを利用してアクション分布をモデル化し、人間の嗜好データを使用して暗黙的な報酬モデルをトレーニングします。
推論フェーズ中に、報酬モデルは複数の候補アクションをスコアリングし、実行に最適なアクションを選択します。これにより、異常なアクションの発生が減少し、タスク完了の品質が向上します。
3 つの挑戦的な現実世界の水平方向の長い変形可能なオブジェクト操作タスクで行われた実験により、この方法の有効性が実証されました。
結果は、DeformPAM がデータが限られている場合でも、ベースライン手法と比較してタスク完了の品質と効率の両方を向上させることを示しています。
コードとデータは https://deform-pam.robotflow.ai で入手できます。

要約(オリジナル)

In recent years, imitation learning has made progress in the field of robotic manipulation. However, it still faces challenges when dealing with complex long-horizon deformable object tasks, such as high-dimensional state spaces, complex dynamics, and multimodal action distributions. Traditional imitation learning methods often require a large amount of data and encounter distributional shifts and accumulative errors in these tasks. To address these issues, we propose a data-efficient general learning framework (DeformPAM) based on preference learning and reward-guided action selection. DeformPAM decomposes long-horizon tasks into multiple action primitives, utilizes 3D point cloud inputs and diffusion models to model action distributions, and trains an implicit reward model using human preference data. During the inference phase, the reward model scores multiple candidate actions, selecting the optimal action for execution, thereby reducing the occurrence of anomalous actions and improving task completion quality. Experiments conducted on three challenging real-world long-horizon deformable object manipulation tasks demonstrate the effectiveness of this method. Results show that DeformPAM improves both task completion quality and efficiency compared to baseline methods even with limited data. Code and data will be available at https://deform-pam.robotflow.ai.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google