Kalib: Easy Hand-Eye Calibration with Reference Point Tracking

要約

ハンドアイキャリブレーションは、カメラとロボット間の変換を推定することを目的としています。
従来の方法は、かなりの手動の努力と正確なセットアップを必要とする法律上のマーカーに依存しています。
ディープラーニングの最近の進歩により、マーカーレステクニックが導入されていますが、各ロボットの再訓練ネットワークやデータ生成の正確なメッシュモデルへのアクセスなど、より前提条件が伴います。
このホワイトペーパーでは、これらの課題を克服するために視覚基盤モデルの一般化可能性を活用する自動で設定できるハンドアイキャリブレーション方法であるKalibを提案します。
ロボットの運動系チェーンとロボットの事前定義された基準点の2つの基本的な前提条件のみが備わっています。
キャリブレーション中、参照ポイントはカメラスペースで追跡されます。
ロボット座標内の対応する3D座標は、前方の運動学によって推測できます。
次に、PNPソルバーは、新しいネットワークをトレーニングしたり、メッシュモデルにアクセスすることなく、カメラとロボット間の変換を直接推定します。
シミュレートされたベンチマークと現実世界のベンチマークの評価は、カリブが最近のベースライン方法と比較してより低い手動ワークロードで良好な精度を達成することを示しています。
また、さまざまなロボットアームとグリッパーを備えた複数の現実世界の設定でそのアプリケーションを実証します。
Kalibのユーザーフレンドリーな設計と最小限のセットアップ要件により、構造化されていない環境での継続的な動作のためのソリューションが可能になります。

要約(オリジナル)

Hand-eye calibration aims to estimate the transformation between a camera and a robot. Traditional methods rely on fiducial markers, which require considerable manual effort and precise setup. Recent advances in deep learning have introduced markerless techniques but come with more prerequisites, such as retraining networks for each robot, and accessing accurate mesh models for data generation. In this paper, we propose Kalib, an automatic and easy-to-setup hand-eye calibration method that leverages the generalizability of visual foundation models to overcome these challenges. It features only two basic prerequisites, the robot’s kinematic chain and a predefined reference point on the robot. During calibration, the reference point is tracked in the camera space. Its corresponding 3D coordinates in the robot coordinate can be inferred by forward kinematics. Then, a PnP solver directly estimates the transformation between the camera and the robot without training new networks or accessing mesh models. Evaluations in simulated and real-world benchmarks show that Kalib achieves good accuracy with a lower manual workload compared with recent baseline methods. We also demonstrate its application in multiple real-world settings with various robot arms and grippers. Kalib’s user-friendly design and minimal setup requirements make it a possible solution for continuous operation in unstructured environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google