Online Marker-free Extrinsic Camera Calibration using Person Keypoint Detections

要約

マルチカメラ システムのキャリブレーション、つまりカメラ間の相対的な姿勢の決定は、コンピューター ビジョンやロボット工学における多くのタスクの前提条件です。
カメラのキャリブレーションは、通常、チェッカーボード キャリブレーション ターゲットを使用するオフライン メソッドを使用して実行されます。
ただし、これらの方法は、カメラの姿勢が変わるたびに新しいキャリブレーションが必要になることを考えると、面倒で時間がかかることがよくあります。
この作業では、RGB カメラ画像からセンサー ボード上でローカルに計算される 2D 人間のキーポイント検出のみに依存する、複数のスマート エッジ センサーの外因性キャリブレーションのための新しい、マーカーを使用しないオンライン方法を提案します。
私たちの方法は、固有のカメラ パラメーターが既知であることを前提としており、カメラ ポーズの大まかな初期推定によるプライミングが必要です。
複数のビューからの人物のキーポイント検出は、中央のバックエンドで受信され、同期、フィルタリング、および人物仮説への割り当てが行われます。
これらの人物仮説を使用して、因子グラフの形で最適化問題を繰り返し解決します。
シーンを横断する 1 人または複数の人物の適切な観察が与えられた場合、推定されたカメラの姿勢は、数分以内にコヒーレントな外部キャリブレーションに収束します。
現実世界の設定でアプローチを評価し、従来のキャリブレーション ターゲットを使用したオフライン メソッドによって生成された参照キャリブレーションと比較して、この方法によるキャリブレーションが低い再投影エラーを達成することを示します。

要約(オリジナル)

Calibration of multi-camera systems, i.e. determining the relative poses between the cameras, is a prerequisite for many tasks in computer vision and robotics. Camera calibration is typically achieved using offline methods that use checkerboard calibration targets. These methods, however, often are cumbersome and lengthy, considering that a new calibration is required each time any camera pose changes. In this work, we propose a novel, marker-free online method for the extrinsic calibration of multiple smart edge sensors, relying solely on 2D human keypoint detections that are computed locally on the sensor boards from RGB camera images. Our method assumes the intrinsic camera parameters to be known and requires priming with a rough initial estimate of the camera poses. The person keypoint detections from multiple views are received at a central backend where they are synchronized, filtered, and assigned to person hypotheses. We use these person hypotheses to repeatedly solve optimization problems in the form of factor graphs. Given suitable observations of one or multiple persons traversing the scene, the estimated camera poses converge towards a coherent extrinsic calibration within a few minutes. We evaluate our approach in real-world settings and show that the calibration with our method achieves lower reprojection errors compared to a reference calibration generated by an offline method using a traditional calibration target.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google