Learning Foresightful Dense Visual Affordance for Deformable Object Manipulation

要約

変形可能な物体 (ロープや布地など) を理解して操作することは、幅広い用途で不可欠でありながら困難な作業です。
難しさは、複雑な状態とダイナミクス、多様な構成、および変形可能なオブジェクトの高次元のアクション スペースから生じます。
さらに、操作タスクは通常、達成するために複数のステップを必要とし、貪欲なポリシーは簡単にローカル最適状態につながる可能性があります。
既存の研究は通常、強化学習を使用するか、専門家のデモを模倣することでこの問題に取り組んでいますが、複雑な状態のモデル化や手作りの専門家のポリシーを必要とすることには限界があります。
この論文では、多様な状態への一般化を伴う、密な視覚的アフォーダンスを使用した変形可能なオブジェクトの操作を研究し、長期的な操作の状態の値を推定することによって局所的な最適値を回避する、新しい種類の先見の明のある密なアフォーダンスを提案します。
この表現を学習するためのフレームワークを提案します。これには、多段階の安定した学習や、専門家を必要としない効率的な自己教師付きデータ収集などの斬新な設計が含まれます。
実験は、提案された先見の明のある密なアフォーダンスの優位性を示しています。
プロジェクトページ: https://hyperplane-lab.github.io/DeformableAffordance

要約(オリジナル)

Understanding and manipulating deformable objects (e.g., ropes and fabrics) is an essential yet challenging task with broad applications. Difficulties come from complex states and dynamics, diverse configurations and high-dimensional action space of deformable objects. Besides, the manipulation tasks usually require multiple steps to accomplish, and greedy policies may easily lead to local optimal states. Existing studies usually tackle this problem using reinforcement learning or imitating expert demonstrations, with limitations in modeling complex states or requiring hand-crafted expert policies. In this paper, we study deformable object manipulation using dense visual affordance, with generalization towards diverse states, and propose a novel kind of foresightful dense affordance, which avoids local optima by estimating states’ values for long-term manipulation. We propose a framework for learning this representation, with novel designs such as multi-stage stable learning and efficient self-supervised data collection without experts. Experiments demonstrate the superiority of our proposed foresightful dense affordance. Project page: https://hyperplane-lab.github.io/DeformableAffordance

arxiv情報

提供元, 利用サービス

arxiv.jp, Google