GAMMA: Generalizable Articulation Modeling and Manipulation for Articulated Objects

要約

キャビネットやドアなどの関節のある物体は日常生活に広く普及しています。
ただし、3D 多関節オブジェクトには多様な幾何学的形状、意味カテゴリ、および運動上の制約があるため、これらを直接操作することは困難です。
これまでの研究は主に、特定のジョイント タイプを持つ多関節オブジェクトの認識と操作に焦点を当てていました。
彼らは関節パラメータを推定したり、軌道計画を容易にするために適切な把握ポーズを区別したりすることができます。
これらのアプローチは、特定の種類の多関節オブジェクトでは成功していますが、目に見えないオブジェクトに対する一般化性に欠けており、より広範なシナリオへの適用が大幅に妨げられています。
この論文では、異なるカテゴリを持つ多様な関節オブジェクトから関節モデリングと姿勢アフォーダンスの把握の両方を学習する、関節オブジェクトの一般化可能な関節モデリングと操作 (GAMMA) の新しいフレームワークを提案します。
さらに、GAMMA は適応操作を採用して、モデリングエラーを反復的に削減し、操作パフォーマンスを向上させます。
PartNet-Mobility データセットを使用して GAMMA をトレーニングし、SAPIEN シミュレーションと現実世界の Franka ロボットでの包括的な実験で評価します。
結果は、目に見えないオブジェクトやカテゴリをまたがる関節オブジェクトにおいて、GAMMA が SOTA 関節モデリングおよび操作アルゴリズムよりも大幅に優れていることを示しています。
最終バージョンで再現するために、シミュレーションと実際のロボットの両方のコードとデータセットをオープンソース化します。
画像とビデオはプロジェクトの Web サイト (http://sites.google.com/view/gamma-articulation) で公開されています。

要約(オリジナル)

Articulated objects like cabinets and doors are widespread in daily life. However, directly manipulating 3D articulated objects is challenging because they have diverse geometrical shapes, semantic categories, and kinetic constraints. Prior works mostly focused on recognizing and manipulating articulated objects with specific joint types. They can either estimate the joint parameters or distinguish suitable grasp poses to facilitate trajectory planning. Although these approaches have succeeded in certain types of articulated objects, they lack generalizability to unseen objects, which significantly impedes their application in broader scenarios. In this paper, we propose a novel framework of Generalizable Articulation Modeling and Manipulating for Articulated Objects (GAMMA), which learns both articulation modeling and grasp pose affordance from diverse articulated objects with different categories. In addition, GAMMA adopts adaptive manipulation to iteratively reduce the modeling errors and enhance manipulation performance. We train GAMMA with the PartNet-Mobility dataset and evaluate with comprehensive experiments in SAPIEN simulation and real-world Franka robot. Results show that GAMMA significantly outperforms SOTA articulation modeling and manipulation algorithms in unseen and cross-category articulated objects. We will open-source all codes and datasets in both simulation and real robots for reproduction in the final version. Images and videos are published on the project website at: http://sites.google.com/view/gamma-articulation

arxiv情報

提供元, 利用サービス

arxiv.jp, Google