PartManip: Learning Cross-Category Generalizable Part Manipulation Policy from Point Cloud Observations

要約

一般化可能なオブジェクト操作ポリシーを学習することは、具現化されたエージェントが複雑な現実世界のシーンで機能するために不可欠です。
パーツは、異なるオブジェクト カテゴリの共有コンポーネントとして、操作ポリシーの一般化能力を高め、クロス カテゴリ オブジェクト操作を実現する可能性があります。
この作業では、11 のオブジェクト カテゴリ、494 のオブジェクト、および 6 つのタスク クラスの 1432 のタスクで構成される、最初の大規模なパーツ ベースのクロス カテゴリ オブジェクト操作ベンチマークである PartManip を構築します。
以前の作業と比較して、ベンチマークもより多様で現実的です。つまり、より多くのオブジェクトを持ち、部品のセグメンテーションなどのオラクル情報なしでスパース ビュー ポイント クラウドを入力として使用します。
ビジョンベースのポリシー学習の難しさに取り組むために、まず、提案された部分ベースの正規化と部分認識報酬を使用して状態ベースの専門家をトレーニングし、次にその知識をビジョンベースの学生に抽出します。
また、さまざまなオブジェクトの大きな多様性を克服するには、表現力のあるバックボーンが不可欠であることもわかりました。
クロスカテゴリの一般化のために、ドメイン不変の特徴抽出のためのドメイン敵対的学習を導入します。
シミュレーションでの広範な実験は、学習したポリシーが、特に目に見えないオブジェクト カテゴリで、他の方法よりも大幅に優れていることを示しています。
また、私たちの方法が現実の世界で新しいオブジェクトをうまく操作できることも示しています。

要約(オリジナル)

Learning a generalizable object manipulation policy is vital for an embodied agent to work in complex real-world scenes. Parts, as the shared components in different object categories, have the potential to increase the generalization ability of the manipulation policy and achieve cross-category object manipulation. In this work, we build the first large-scale, part-based cross-category object manipulation benchmark, PartManip, which is composed of 11 object categories, 494 objects, and 1432 tasks in 6 task classes. Compared to previous work, our benchmark is also more diverse and realistic, i.e., having more objects and using sparse-view point cloud as input without oracle information like part segmentation. To tackle the difficulties of vision-based policy learning, we first train a state-based expert with our proposed part-based canonicalization and part-aware rewards, and then distill the knowledge to a vision-based student. We also find an expressive backbone is essential to overcome the large diversity of different objects. For cross-category generalization, we introduce domain adversarial learning for domain-invariant feature extraction. Extensive experiments in simulation show that our learned policy can outperform other methods by a large margin, especially on unseen object categories. We also demonstrate our method can successfully manipulate novel objects in the real world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google