RDPN6D: Residual-based Dense Point-wise Network for 6Dof Object Pose Estimation Based on RGB-D Images

要約

この研究では、単一の RGB-D 画像を使用してオブジェクトの 6DoF 姿勢を計算する新しい方法を紹介します。
オブジェクトのポーズを直接予測するか、ポーズの回復のためにスパースなキーポイントに依存する既存の方法とは異なり、私たちのアプローチは、密な対応を使用してこの困難なタスクに対処します。つまり、可視ピクセルごとにオブジェクトの座標を回帰します。
私たちの方法は既存の物体検出方法を利用します。
RGB-D 画像のトリミングに対応するためにカメラの固有マトリックスを調整するための再投影メカニズムが組み込まれています。
さらに、3D オブジェクトの座標を残差表現に変換します。これにより、出力スペースが効果的に削減され、優れたパフォーマンスが得られます。
私たちは、6D 姿勢推定に対するアプローチの有効性を検証するために広範な実験を実施しました。
私たちのアプローチは、特にオクルージョンシナリオにおいて、これまでのほとんどの手法を上回っており、最先端の手法と比べて顕著な改善が見られます。
私たちのコードは https://github.com/AI-Application-and-Integration-Lab/RDPN6D で入手できます。

要約(オリジナル)

In this work, we introduce a novel method for calculating the 6DoF pose of an object using a single RGB-D image. Unlike existing methods that either directly predict objects’ poses or rely on sparse keypoints for pose recovery, our approach addresses this challenging task using dense correspondence, i.e., we regress the object coordinates for each visible pixel. Our method leverages existing object detection methods. We incorporate a re-projection mechanism to adjust the camera’s intrinsic matrix to accommodate cropping in RGB-D images. Moreover, we transform the 3D object coordinates into a residual representation, which can effectively reduce the output space and yield superior performance. We conducted extensive experiments to validate the efficacy of our approach for 6D pose estimation. Our approach outperforms most previous methods, especially in occlusion scenarios, and demonstrates notable improvements over the state-of-the-art methods. Our code is available on https://github.com/AI-Application-and-Integration-Lab/RDPN6D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google