GAMMA: Generalizable Articulation Modeling and Manipulation for Articulated Objects

要約

キャビネットやドアのような多関節オブジェクトは、日常生活に広く普及している。しかし、3次元多関節オブジェクトを直接操作することは、それらが多様な幾何学的形状、意味カテゴリ、および運動制約を有するため、困難である。先行研究の多くは、特定の関節タイプを持つ多関節物体を認識し、操作することに焦点を当てている。これらのアプローチは、関節パラメータを推定するか、軌道計画を容易にするために適切な把持ポーズを区別することができる。これらのアプローチは、特定のタイプの多関節物体に対しては成功しているものの、未知の物体に対する一般化可能性に欠けており、より広いシナリオへの応用を大きく妨げている。本論文では、多関節オブジェクトのための一般化可能な関節モデリングと操作（GAMMA）の新しいフレームワークを提案する。GAMMAは、異なるカテゴリを持つ多様な多関節オブジェクトから関節モデリングと把持ポーズアフォーダンスの両方を学習する。また、GAMMAは適応的な操作を採用することで、モデル化誤差を繰り返し低減し、操作性能を向上させる。我々は、PartNet-Mobilityデータセットを用いてGAMMAを訓練し、SAPIENシミュレーションと実世界のFrankaロボットを用いた包括的な実験により評価する。その結果、GAMMAはSOTAの多関節モデリングおよびマニピュレーションアルゴリズムを、未見の多関節物体やカテゴリをまたがる多関節物体において大幅に上回ることがわかった。私たちは、シミュレーションと実際のロボットの両方で、すべてのコードとデータセットをオープンソース化し、最終版で再現する予定です。画像と動画はプロジェクトのウェブサイト http://sites.google.com/view/gamma-articulation で公開しています。

要約(オリジナル)

Articulated objects like cabinets and doors are widespread in daily life. However, directly manipulating 3D articulated objects is challenging because they have diverse geometrical shapes, semantic categories, and kinetic constraints. Prior works mostly focused on recognizing and manipulating articulated objects with specific joint types. They can either estimate the joint parameters or distinguish suitable grasp poses to facilitate trajectory planning. Although these approaches have succeeded in certain types of articulated objects, they lack generalizability to unseen objects, which significantly impedes their application in broader scenarios. In this paper, we propose a novel framework of Generalizable Articulation Modeling and Manipulating for Articulated Objects (GAMMA), which learns both articulation modeling and grasp pose affordance from diverse articulated objects with different categories. In addition, GAMMA adopts adaptive manipulation to iteratively reduce the modeling errors and enhance manipulation performance. We train GAMMA with the PartNet-Mobility dataset and evaluate with comprehensive experiments in SAPIEN simulation and real-world Franka robot. Results show that GAMMA significantly outperforms SOTA articulation modeling and manipulation algorithms in unseen and cross-category articulated objects. We will open-source all codes and datasets in both simulation and real robots for reproduction in the final version. Images and videos are published on the project website at: http://sites.google.com/view/gamma-articulation

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL