Bi-Manual Joint Camera Calibration and Scene Representation

要約

ロボット操作、特に両操作では、複数のロボットマニピュレーターに複数のカメラをセットアップする必要があることがよくあります。
ロボットマニピュレーターが動きを生成したり、環境の表現を構築する前に、ロボットに硬く取り付けられたカメラを調整する必要があります。
カメラのキャリブレーションは、一連の画像を収集することを含む扱いにくいプロセスであり、それぞれが事前に決定されたマーカーをキャプチャします。
この作業では、二マニュアルジョイントキャリブレーションと表現フレームワーク（BI-JCR）を紹介します。
BI-JCRは、それぞれが取り付けられた複数のロボットマニピュレーターを使用して、キャリブレーションマーカーの画像の撮影を回避できます。
密なマーカーフリーマルチビューの対応のために3Dファンデーションモデルを活用することにより、BI-JCRは次のように推定します。
両方のマニピュレーターでカメラでキャプチャされた画像から共同で構築された表現は、共通の座標フレームに存在し、衝突チェックとセマンティックセグメンテーションをサポートして、下流の両段階調整タスクを促進します。
さまざまな卓上環境でのBI-JCRの堅牢性を経験的に評価し、さまざまな下流タスクでの適用性を実証します。

要約(オリジナル)

Robot manipulation, especially bimanual manipulation, often requires setting up multiple cameras on multiple robot manipulators. Before robot manipulators can generate motion or even build representations of their environments, the cameras rigidly mounted to the robot need to be calibrated. Camera calibration is a cumbersome process involving collecting a set of images, with each capturing a pre-determined marker. In this work, we introduce the Bi-Manual Joint Calibration and Representation Framework (Bi-JCR). Bi-JCR enables multiple robot manipulators, each with cameras mounted, to circumvent taking images of calibration markers. By leveraging 3D foundation models for dense, marker-free multi-view correspondence, Bi-JCR jointly estimates: (i) the extrinsic transformation from each camera to its end-effector, (ii) the inter-arm relative poses between manipulators, and (iii) a unified, scale-consistent 3D representation of the shared workspace, all from the same captured RGB image sets. The representation, jointly constructed from images captured by cameras on both manipulators, lives in a common coordinate frame and supports collision checking and semantic segmentation to facilitate downstream bimanual coordination tasks. We empirically evaluate the robustness of Bi-JCR on a variety of tabletop environments, and demonstrate its applicability on a variety of downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google