Kalib: Markerless Hand-Eye Calibration with Keypoint Tracking

要約

ハンドアイキャリブレーションには、カメラとロボット間の変換の推定が含まれます。
従来の方法は基準マーカーに依存しており、多くの手作業と慎重なセットアップが必要でした。
深層学習の最近の進歩により、マーカーレス技術が提供されていますが、各ロボットのネットワークを再トレーニングする必要性、データ生成のための正確なメッシュ モデルの要件、シミュレーションと実際のギャップに対処する必要性などの課題が存在します。
このレターでは、これらの障壁を排除するために視覚基盤モデルの一般化可能性を活用する、自動かつユニバーサルなマーカーレスハンドアイキャリブレーションパイプラインである Kalib を提案します。
各キャリブレーション プロセスで、Kalib はキーポイント トラッキングと固有受容センサーを使用して、ロボットの座標空間とカメラ空間内の対応する点の間の変換を推定します。
私たちの方法では、新しいネットワークをトレーニングしたり、メッシュ モデルにアクセスしたりする必要はありません。
シミュレーション環境と現実世界のデータセット DROID での評価を通じて、Kalib は最近のベースライン手法と比較して優れた精度を実証しています。
このアプローチは、セットアップを簡素化し、正確な物理マーカーへの依存を排除​​することで、さまざまなロボット システムに効果的で柔軟なキャリブレーション プロセスを提供します。

要約(オリジナル)

Hand-eye calibration involves estimating the transformation between the camera and the robot. Traditional methods rely on fiducial markers, involving much manual labor and careful setup. Recent advancements in deep learning offer markerless techniques, but they present challenges, including the need for retraining networks for each robot, the requirement of accurate mesh models for data generation, and the need to address the sim-to-real gap. In this letter, we propose Kalib, an automatic and universal markerless hand-eye calibration pipeline that leverages the generalizability of visual foundation models to eliminate these barriers. In each calibration process, Kalib uses keypoint tracking and proprioceptive sensors to estimate the transformation between a robot’s coordinate space and its corresponding points in camera space. Our method does not require training new networks or access to mesh models. Through evaluations in simulation environments and the real-world dataset DROID, Kalib demonstrates superior accuracy compared to recent baseline methods. This approach provides an effective and flexible calibration process for various robot systems by simplifying setup and removing dependency on precise physical markers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google