OnePose++: Keypoint-Free One-Shot Object Pose Estimation without CAD Models

要約

CADモデルを使わずに物体の姿勢を推定する新しい方法を提案します。
以前の機能照合ベースの方法である OnePose は、CAD モデルやオブジェクト固有のトレーニングの必要性を排除するワンショット設定で有望な結果を示しました。
ただし、OnePose は反復可能な画像キーポイントの検出に依存しているため、テクスチャの少ないオブジェクトでは失敗する傾向があります。
反復可能なキーポイント検出の必要性を排除するために、キーポイントのないポーズ推定パイプラインを提案します。
検出器を使用しない特徴マッチング法 LoFTR に基づいて構築された、新しいキーポイントを使用しない SfM メソッドを考案して、オブジェクトの準高密度点群モデルを再構築します。
オブジェクトの姿勢推定のためのクエリ画像が与えられると、2D-3D マッチング ネットワークは、最初に画像内のキーポイントを検出することなく、クエリ画像と再構築されたポイント クラウド モデルとの間の 2D-3D 対応を直接確立します。
実験は、提案されたパイプラインが既存のワンショットCADモデルフリーの方法よりも大幅に優れており、テクスチャの少ないオブジェクトでもLINEMODのCADモデルベースの方法に匹敵することを示しています。
また、ワンショット オブジェクトの姿勢推定に関する将来の研究を容易にするために、40 個の低テクスチャ オブジェクトの 80 シーケンスで構成される新しいデータセットも収集します。
補足資料、コード、およびデータセットは、プロジェクト ページ (https://zju3dv.github.io/onepose_plus_plus/) で入手できます。

要約(オリジナル)

We propose a new method for object pose estimation without CAD models. The previous feature-matching-based method OnePose has shown promising results under a one-shot setting which eliminates the need for CAD models or object-specific training. However, OnePose relies on detecting repeatable image keypoints and is thus prone to failure on low-textured objects. We propose a keypoint-free pose estimation pipeline to remove the need for repeatable keypoint detection. Built upon the detector-free feature matching method LoFTR, we devise a new keypoint-free SfM method to reconstruct a semi-dense point-cloud model for the object. Given a query image for object pose estimation, a 2D-3D matching network directly establishes 2D-3D correspondences between the query image and the reconstructed point-cloud model without first detecting keypoints in the image. Experiments show that the proposed pipeline outperforms existing one-shot CAD-model-free methods by a large margin and is comparable to CAD-model-based methods on LINEMOD even for low-textured objects. We also collect a new dataset composed of 80 sequences of 40 low-textured objects to facilitate future research on one-shot object pose estimation. The supplementary material, code and dataset are available on the project page: https://zju3dv.github.io/onepose_plus_plus/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google