Planning with Spatial-Temporal Abstraction from Point Clouds for Deformable Object Manipulation

要約

長期にわたる変形可能なオブジェクトの操作を効果的に計画するには、空間レベルと時間レベルの両方で適切な抽象化が必要です。
従来の方法は通常、期間の短いタスクに焦点を当てているか、完全な状態の情報が利用可能であるという強い前提を置いているため、変形可能なオブジェクトでの使用が妨げられています。
この論文では、空間的抽象化 (オブジェクトとオブジェクト間の関係についての推論) と時間的抽象化 (低レベルのアクションではなくスキルに関する推論) の両方を組み込んだ、時空間抽象化による計画 (PASTA) を提案します。
私たちのフレームワークは、点群などの高次元 3D 観察を潜在ベクトルのセットにマッピングし、潜在セット表現の上にスキル シーケンスを計画します。
私たちの方法は、実世界において、ナイフで切る、プッシャーで押す、ローラーで生地を広げるなど、複数のツールを使用するスキルを組み合わせる必要がある、難しい連続的な変形可能オブジェクト操作タスクを効果的に実行できることを示します。

要約(オリジナル)

Effective planning of long-horizon deformable object manipulation requires suitable abstractions at both the spatial and temporal levels. Previous methods typically either focus on short-horizon tasks or make strong assumptions that full-state information is available, which prevents their use on deformable objects. In this paper, we propose PlAnning with Spatial-Temporal Abstraction (PASTA), which incorporates both spatial abstraction (reasoning about objects and their relations to each other) and temporal abstraction (reasoning over skills instead of low-level actions). Our framework maps high-dimension 3D observations such as point clouds into a set of latent vectors and plans over skill sequences on top of the latent set representation. We show that our method can effectively perform challenging sequential deformable object manipulation tasks in the real world, which require combining multiple tool-use skills such as cutting with a knife, pushing with a pusher, and spreading the dough with a roller.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google