FreeZe: Training-free zero-shot 6D pose estimation with geometric and vision foundation models

要約

トレーニング中に見たことのない物体の6次元ポーズを推定することは、非常に望ましいが困難である。ゼロショットオブジェクト6次元姿勢推定法は、大規模でフォトリアリスティックな合成データセットによって提供されるタスク固有の追加的な監視を活用することで、この課題に対処します。しかし、その性能はレンダリングデータの質と多様性に大きく依存し、大規模なトレーニングを必要とする。本研究では、特定のデータで学習することなく、同じタスクに取り組む方法を示す。我々はFreeZeを提案する。FreeZeは、事前に訓練された幾何学モデルと視覚基盤モデルの能力を活用する新しいソリューションである。FreeZeは、無関係な3次元点群から学習した3次元幾何学的記述子と、ウェブスケールの2次元画像から学習した2次元視覚的特徴量を活用し、識別可能な3次元点レベル記述子を生成する。次に、RANSACに基づく3次元レジストレーションにより、未見の物体の6次元姿勢を推定する。また、幾何学的に対称な物体による曖昧なケースを解決するための、視覚的特徴に基づく新しいアルゴリズムを紹介する。BOPベンチマークの7つのコアデータセット（100以上の3Dオブジェクトと様々なシナリオで撮影された20,000枚の画像を含む）を用いてFreeZeを総合的に評価した。FreeZeは、合成6Dポーズ推定データで広範囲に訓練された競合を含む、すべての最先端のアプローチを常に凌駕しています。コードは https://andreacaraffa.github.io/freeze で公開されます。

要約(オリジナル)

Estimating the 6D pose of objects unseen during training is highly desirable yet challenging. Zero-shot object 6D pose estimation methods address this challenge by leveraging additional task-specific supervision provided by large-scale, photo-realistic synthetic datasets. However, their performance heavily depends on the quality and diversity of rendered data and they require extensive training. In this work, we show how to tackle the same task but without training on specific data. We propose FreeZe, a novel solution that harnesses the capabilities of pre-trained geometric and vision foundation models. FreeZe leverages 3D geometric descriptors learned from unrelated 3D point clouds and 2D visual features learned from web-scale 2D images to generate discriminative 3D point-level descriptors. We then estimate the 6D pose of unseen objects by 3D registration based on RANSAC. We also introduce a novel algorithm to solve ambiguous cases due to geometrically symmetric objects that is based on visual features. We comprehensively evaluate FreeZe across the seven core datasets of the BOP Benchmark, which include over a hundred 3D objects and 20,000 images captured in various scenarios. FreeZe consistently outperforms all state-of-the-art approaches, including competitors extensively trained on synthetic 6D pose estimation data. Code will be publicly available at https://andreacaraffa.github.io/freeze.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL