Multi-task Learning for Camera Calibration

要約

3D 再構築、ロボット インターフェイス、自動運転などの多くのタスクでは、カメラのキャリブレーションが不可欠です。
この研究では、画像のペアから固有 (主点オフセットと焦点距離) および外因性 (ベースライン、ピッチ、および移動) のプロパティを予測するための独自の方法を提示します。
包括的なソリューションを構築する既存の方法とは対照的に、カメラモデル方程式がマルチタスク学習フレームワークのニューラルネットワークとして表される新しい方法を提案しました。
カメラ モデル ニューラル ネットワークを使用して 3D ポイントを再構成し、再構成の損失を使用してカメラの仕様を取得することにより、この革新的なカメラ プロジェクション ロス (CPL) 法により、必要なパラメーターを推定することができます。
私たちが知る限り、私たちのアプローチは、外部パラメーターと内部パラメーターの両方を一緒に予測するためにカメラ パラメーターを推定する学習のフレームワークに数式を含むマルチタスク学習へのアプローチを使用する最初のアプローチです。
さらに、CARLA シミュレーター [2] を使用して収集された CVGL カメラ キャリブレーション データセット [1] という名前の新しいデータセットを提供しました。
実際、私たちが提案した戦略は、従来の方法と、実際のデータと合成データの両方を使用して評価された 10 個のパラメーターのうち 8 個の深層学習に基づく方法の両方よりも優れていることを示しています。
私たちのコードと生成されたデータセットは、https://github.com/thanif/Camera-Calibration-through-Camera-Projection-Loss で入手できます。

要約(オリジナル)

For a number of tasks, such as 3D reconstruction, robotic interface, autonomous driving, etc., camera calibration is essential. In this study, we present a unique method for predicting intrinsic (principal point offset and focal length) and extrinsic (baseline, pitch, and translation) properties from a pair of images. We suggested a novel method where camera model equations are represented as a neural network in a multi-task learning framework, in contrast to existing methods, which build a comprehensive solution. By reconstructing the 3D points using a camera model neural network and then using the loss in reconstruction to obtain the camera specifications, this innovative camera projection loss (CPL) method allows us that the desired parameters should be estimated. As far as we are aware, our approach is the first one that uses an approach to multi-task learning that includes mathematical formulas in a framework for learning to estimate camera parameters to predict both the extrinsic and intrinsic parameters jointly. Additionally, we provided a new dataset named as CVGL Camera Calibration Dataset [1] which has been collected using the CARLA Simulator [2]. Actually, we show that our suggested strategy out performs both conventional methods and methods based on deep learning on 8 out of 10 parameters that were assessed using both real and synthetic data. Our code and generated dataset are available at https://github.com/thanif/Camera-Calibration-through-Camera-Projection-Loss.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google