GigaPose: Fast and Robust Novel Object Pose Estimation via One Correspondence

要約

RGB 画像における CAD ベースの新しいオブジェクトの姿勢推定のための、高速で堅牢かつ正確な方法である GigaPose を紹介します。
GigaPose は、まず、CAD モデルのレンダリング画像である識別「テンプレート」を活用して面外回転を回復し、次にパッチ対応を使用して残りの 4 つのパラメータを推定します。
私たちのアプローチでは、通常の 3 自由度空間ではなく 2 自由度空間のみでテンプレートをサンプリングし、特徴空間での高速最近傍検索を使用して入力画像をテンプレートに照合します。その結果、次の状態と比較して 35 倍の高速化係数が得られます。
アート。
さらに、GigaPose はセグメンテーション エラーに対して大幅に堅牢です。
BOP チャレンジの 7 つのコア データセットに対する広範な評価により、BOP チャレンジが最先端の精度を達成し、既存のリファインメント手法とシームレスに統合できることが実証されました。
さらに、単一画像からの 3D 再構成に関する最近の研究によって予測された 3D モデルを使用した GigaPose の可能性を示し、CAD モデルの必要性を緩和し、6D 姿勢オブジェクトの推定をより便利にします。
私たちのソース コードとトレーニング済みモデルは、https://github.com/nv-nguyen/gigaPose で公開されています。

要約(オリジナル)

We present GigaPose, a fast, robust, and accurate method for CAD-based novel object pose estimation in RGB images. GigaPose first leverages discriminative ‘templates’, rendered images of the CAD models, to recover the out-of-plane rotation and then uses patch correspondences to estimate the four remaining parameters. Our approach samples templates in only a two-degrees-of-freedom space instead of the usual three and matches the input image to the templates using fast nearest-neighbor search in feature space, results in a speedup factor of 35x compared to the state of the art. Moreover, GigaPose is significantly more robust to segmentation errors. Our extensive evaluation on the seven core datasets of the BOP challenge demonstrates that it achieves state-of-the-art accuracy and can be seamlessly integrated with existing refinement methods. Additionally, we show the potential of GigaPose with 3D models predicted by recent work on 3D reconstruction from a single image, relaxing the need for CAD models and making 6D pose object estimation much more convenient. Our source code and trained models are publicly available at https://github.com/nv-nguyen/gigaPose

arxiv情報

提供元, 利用サービス

arxiv.jp, Google