Foundation Feature-Driven Online End-Effector Pose Estimation: A Marker-Free and Learning-Free Approach

要約

カメラスペースとロボットスペースの間の正確な変換の推定が不可欠です。
手と目のキャリブレーションにマーカーを使用した従来の方法では、オフラインの画像収集が必要であり、オンラインの自己キャリブレーションに対する適合性を制限します。
最近の学習ベースのロボットは、オンラインキャリブレーションを進めながら、クロスロボットの一般化に苦労し、ロボットを完全に見えるようにする必要があります。
この作業は、基礎特徴駆動型のオンラインエンドエフェクターポーズ推定（FEEPE）アルゴリズムを提案します。
Feepeは、Foundationモデルのゼロショット一般化機能に触発され、PNPアルゴリズムを介した6Dポーズ推定を可能にするために、PNPモデルとターゲット画像から派生した2D-3D対応を推定するために、訓練を受けた視覚的特徴をレバレッジします。
部分的な観測と対称性からあいまいさを解決するために、多歴史的なキーフレーム強化ポーズ最適化アルゴリズムが導入され、精度が向上するために時間情報を利用します。
従来のハンドアイキャリブレーションと比較して、FEEPEはマーカーフリーのオンラインキャリブレーションを可能にします。
ロボットの推定とは異なり、ロボットとエンドエフェクター全体でトレーニングなしの方法で一般化します。
広範な実験は、その優れた柔軟性、一般化、およびパフォーマンスを実証しています。

要約(オリジナル)

Accurate transformation estimation between camera space and robot space is essential. Traditional methods using markers for hand-eye calibration require offline image collection, limiting their suitability for online self-calibration. Recent learning-based robot pose estimation methods, while advancing online calibration, struggle with cross-robot generalization and require the robot to be fully visible. This work proposes a Foundation feature-driven online End-Effector Pose Estimation (FEEPE) algorithm, characterized by its training-free and cross end-effector generalization capabilities. Inspired by the zero-shot generalization capabilities of foundation models, FEEPE leverages pre-trained visual features to estimate 2D-3D correspondences derived from the CAD model and target image, enabling 6D pose estimation via the PnP algorithm. To resolve ambiguities from partial observations and symmetry, a multi-historical key frame enhanced pose optimization algorithm is introduced, utilizing temporal information for improved accuracy. Compared to traditional hand-eye calibration, FEEPE enables marker-free online calibration. Unlike robot pose estimation, it generalizes across robots and end-effectors in a training-free manner. Extensive experiments demonstrate its superior flexibility, generalization, and performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google