Generative Category-Level Shape and Pose Estimation with Semantic Primitives

要約

日常的な物体を3次元的に理解できる自律型エージェントを強化することは、ロボット工学アプリケーションにおける壮大な挑戦である。しかし、未知の環境を探索する場合、物体の形状が多様であるため、既存の物体姿勢推定手法は未だ満足のいくものではない。本論文では、1枚のRGB-D画像からカテゴリレベルの物体形状・姿勢推定を行うための新しいフレームワークを提案する。カテゴリ内変動に対応するため、多様な形状を統一的な潜在空間に符号化するセマンティックプリミティブ表現を採用し、観測点群と推定形状との間に信頼性の高い対応関係を確立するためのキーとする。また、SIM(3)不変の形状記述子を用いることで、物体の形状と姿勢を潔く分離し、任意の姿勢の対象物体の潜在的な形状最適化を支援する。提案手法は，実世界のデータセットにおいて，SOTA姿勢推定性能とより良い一般化性能を達成することが，広範な実験により示されている．コードと動画は https://zju3dv.github.io/gCasp で公開されています。

要約(オリジナル)

Empowering autonomous agents with 3D understanding for daily objects is a grand challenge in robotics applications. When exploring in an unknown environment, existing methods for object pose estimation are still not satisfactory due to the diversity of object shapes. In this paper, we propose a novel framework for category-level object shape and pose estimation from a single RGB-D image. To handle the intra-category variation, we adopt a semantic primitive representation that encodes diverse shapes into a unified latent space, which is the key to establish reliable correspondences between observed point clouds and estimated shapes. Then, by using a SIM(3)-invariant shape descriptor, we gracefully decouple the shape and pose of an object, thus supporting latent shape optimization of target objects in arbitrary poses. Extensive experiments show that the proposed method achieves SOTA pose estimation performance and better generalization in the real-world dataset. Code and video are available at https://zju3dv.github.io/gCasp

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL