Camera Calibration through Camera Projection Loss

要約

カメラのキャリブレーションは、3D 再構成、ロボットの相互作用のための手と目の調整、自動運転など、さまざまなタスクで必要です。
および主点オフセット) パラメータをイメージ ペアを使用して計算します。
既存の方法とは異なり、エンド ツー エンドのソリューションを設計する代わりに、マルチタスク学習フレームワークのニューラル ネットワークとしてカメラ モデル方程式を組み込む新しい表現を提案しました。
カメラモデルニューラルネットワークを使用して3Dポイントを再構築し、再構築損失を使用してカメラパラメーターを推定する新しいカメラ投影損失（CPL）を介して、目的のパラメーターを推定します。
私たちの知る限り、私たちの方法は、カメラ パラメーターを推定するための学習フレームワークで分析方程式を組み合わせたマルチタスク学習方法論を介して、内因性パラメーターと外因性パラメーターの両方を共同で推定する最初の方法です。
また、CARLA Simulator を使用した新しいデータセットも提案しました。
経験的に、提案されたアプローチは、合成データと実際のデータの両方を使用して評価された10個のパラメーターのうち8個で、ディープラーニングベースの方法と従来の方法の両方に関してより優れたパフォーマンスを達成することを示しています。
私たちのコードと生成されたデータセットは、https://github.com/thanif/Camera-Calibration-through-Camera-Projection-Loss で入手できます。

要約(オリジナル)

Camera calibration is a necessity in various tasks including 3D reconstruction, hand-eye coordination for a robotic interaction, autonomous driving, etc. In this work we propose a novel method to predict extrinsic (baseline, pitch, and translation), intrinsic (focal length and principal point offset) parameters using an image pair. Unlike existing methods, instead of designing an end-to-end solution, we proposed a new representation that incorporates camera model equations as a neural network in multi-task learning framework. We estimate the desired parameters via novel camera projection loss (CPL) that uses the camera model neural network to reconstruct the 3D points and uses the reconstruction loss to estimate the camera parameters. To the best of our knowledge, ours is the first method to jointly estimate both the intrinsic and extrinsic parameters via a multi-task learning methodology that combines analytical equations in learning framework for the estimation of camera parameters. We also proposed a novel dataset using CARLA Simulator. Empirically, we demonstrate that our proposed approach achieves better performance with respect to both deep learning-based and traditional methods on 8 out of 10 parameters evaluated using both synthetic and real data. Our code and generated dataset are available at https://github.com/thanif/Camera-Calibration-through-Camera-Projection-Loss.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google