CheckerPose: Progressive Dense Keypoint Localization for Object Pose Estimation with Graph Neural Network

要約

単一の RGB 画像から剛体の 6-DoF ポーズを推定することは、重要かつ困難な作業です。
最近の研究では、密集した通信ベースのソリューションの大きな可能性が示されていますが、実用的な展開に到達するにはまだ改善が必要です。
この論文では、CheckerPose という名前の新しいポーズ推定アルゴリズムを提案します。これは、3 つの主な側面を改善します。
まず、CheckerPose は 3D オブジェクトの表面から 3D キーポイントを密にサンプリングし、2D 画像内でそれらの 2D 対応を徐々に見つけます。
画像空間で密なサンプリングを行う以前のソリューションと比較して、私たちの戦略は 2D グリッド (つまり、ピクセル座標) での対応検索を可能にします。
次に、3D から 2D への対応のために、2D 画像位置のコンパクトなバイナリ コード表現を設計します。
この表現は、漸進的な対応の洗練を可能にするだけでなく、対応の回帰をより効率的な分類問題に変換します。
第 3 に、グラフ ニューラル ネットワークを採用して、サンプリングされた 3D キーポイント間の相互作用を明示的にモデル化し、対応の信頼性と精度をさらに高めます。
これらの新しいコンポーネントを組み合わせることで、CheckerPose は強力なポーズ推定アルゴリズムになります。
人気のある Linemod、Linemod-O、および YCB-V オブジェクト ポーズ推定ベンチマークで評価すると、CheckerPose は対応ベースの手法の精度を明らかに高め、最先端のパフォーマンスを実現します。

要約(オリジナル)

Estimating the 6-DoF pose of a rigid object from a single RGB image is a crucial yet challenging task. Recent studies have shown the great potential of dense correspondence-based solutions, yet improvements are still needed to reach practical deployment. In this paper, we propose a novel pose estimation algorithm named CheckerPose, which improves on three main aspects. Firstly, CheckerPose densely samples 3D keypoints from the surface of the 3D object and finds their 2D correspondences progressively in the 2D image. Compared to previous solutions that conduct dense sampling in the image space, our strategy enables the correspondence searching in a 2D grid (i.e., pixel coordinate). Secondly, for our 3D-to-2D correspondence, we design a compact binary code representation for 2D image locations. This representation not only allows for progressive correspondence refinement but also converts the correspondence regression to a more efficient classification problem. Thirdly, we adopt a graph neural network to explicitly model the interactions among the sampled 3D keypoints, further boosting the reliability and accuracy of the correspondences. Together, these novel components make our CheckerPose a strong pose estimation algorithm. When evaluated on the popular Linemod, Linemod-O, and YCB-V object pose estimation benchmarks, CheckerPose clearly boosts the accuracy of correspondence-based methods and achieves state-of-the-art performances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google