CenterArt: Joint Shape Reconstruction and 6-DoF Grasp Estimation of Articulated Objects

要約

一般的なロボット操作を可能にするためには、多関節物体を正確に把握して再構築することが鍵となります。
この論文では、多関節物体の 3D 形状再構成と 6-DoF 把握推定を同時に行うための新しいアプローチである CenterArt を提案します。
CenterArt は、シーンの RGB-D イメージを入力として受け取り、まずエンコーダーを通じて形状とジョイント コードを予測します。
次に、デコーダはこれらのコードを利用して 3D 形状を再構築し、オブジェクトの 6-DoF 把握ポーズを推定します。
さらに、多関節オブジェクトの 6-DoF 把握グラウンド トゥルース ポーズのデータ​​セットを生成するメカニズムを開発します。
CenterArt は、ランダム化されたデザイン、テクスチャ、照明条件、現実的な深度を持つ複数の多関節オブジェクトを含む現実的なシーンでトレーニングされます。
私たちは広範な実験を行って、CenterArt が精度と堅牢性の点で既存の方法よりも優れていることを実証しています。

要約(オリジナル)

Precisely grasping and reconstructing articulated objects is key to enabling general robotic manipulation. In this paper, we propose CenterArt, a novel approach for simultaneous 3D shape reconstruction and 6-DoF grasp estimation of articulated objects. CenterArt takes RGB-D images of the scene as input and first predicts the shape and joint codes through an encoder. The decoder then leverages these codes to reconstruct 3D shapes and estimate 6-DoF grasp poses of the objects. We further develop a mechanism for generating a dataset of 6-DoF grasp ground truth poses for articulated objects. CenterArt is trained on realistic scenes containing multiple articulated objects with randomized designs, textures, lighting conditions, and realistic depths. We perform extensive experiments demonstrating that CenterArt outperforms existing methods in accuracy and robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google