Learning Foresightful Dense Visual Affordance for Deformable Object Manipulation

要約

変形可能な物体 (ロープや布地など) を理解して操作することは、幅広い応用を伴う重要かつ困難な作業です。
困難は、複雑な状態とダイナミクス、多様な構成、変形可能なオブジェクトの高次元のアクション空間から発生します。
さらに、操作タスクを実行するには通常複数の手順が必要であり、貪欲なポリシーにより局所的な最適な状態が容易に得られる可能性があります。
既存の研究は通常、強化学習または専門家のデモンストレーションの模倣を使用してこの問題に取り組んでいますが、複雑な状態のモデル化や手作りの専門家ポリシーの必要性に限界があります。
この論文では、多様な状態への一般化を伴う高密度視覚アフォーダンスを使用した変形可能なオブジェクト操作を研究し、長期操作に対する状態の値を推定することによって局所最適を回避する、新しい種類の先見の明のある高密度アフォーダンスを提案します。
私たちは、多段階の安定した学習や専門家なしでの効率的な自己教師ありデータ収集などの新しい設計を備えた、この表現を学習するためのフレームワークを提案します。
実験は、私たちが提案した先見の明のある高密度アフォーダンスの優位性を示しています。
プロジェクトページ: https://hyperplane-lab.github.io/DeformableAffordance

要約(オリジナル)

Understanding and manipulating deformable objects (e.g., ropes and fabrics) is an essential yet challenging task with broad applications. Difficulties come from complex states and dynamics, diverse configurations and high-dimensional action space of deformable objects. Besides, the manipulation tasks usually require multiple steps to accomplish, and greedy policies may easily lead to local optimal states. Existing studies usually tackle this problem using reinforcement learning or imitating expert demonstrations, with limitations in modeling complex states or requiring hand-crafted expert policies. In this paper, we study deformable object manipulation using dense visual affordance, with generalization towards diverse states, and propose a novel kind of foresightful dense affordance, which avoids local optima by estimating states’ values for long-term manipulation. We propose a framework for learning this representation, with novel designs such as multi-stage stable learning and efficient self-supervised data collection without experts. Experiments demonstrate the superiority of our proposed foresightful dense affordance. Project page: https://hyperplane-lab.github.io/DeformableAffordance

arxiv情報

提供元, 利用サービス

arxiv.jp, Google