How to turn your camera into a perfect pinhole model

要約

カメラのキャリブレーションは、さまざまなコンピューター ビジョン アプリケーションにおける最初の基本的な手順です。
活発な研究分野であるにもかかわらず、Zhang の手法は人気のあるツールボックスに実装されているため、依然としてカメラのキャリブレーションに広く使用されています。
ただし、この方法は当初、過度に単純化された歪みモデルを含むピンホール モデルを前提としています。
この研究では、ガウス プロセスによって画像から歪みを除去する前処理ステップを含む新しいアプローチを提案します。
私たちの方法は歪みモデルを仮定する必要がなく、曲面鏡の反射の魚眼画像など、複数の歪み源がある場合でも、ひどく歪んだ画像に適用できます。
ガウス プロセスはすべての歪みとカメラの欠陥を捕捉し、その結果、正方形のピクセルを備えた理想的なピンホール カメラで撮影されたような仮想画像が得られます。
さらに、この理想的な GP カメラには、正方形グリッドのキャリブレーション パターンの画像が 1 つだけ必要です。
このモデルは、純粋な射影幾何学設定で設計されているが、非線形レンズ歪みに非常に敏感なパフォーマンスを備えた多くのアルゴリズムとアプリケーションの本格的なアップグレードを可能にします。
Zhang の校正方法を簡素化し、パラメータの数を減らし、歪みパラメータと反復最適化を取り除くことによって、私たちの方法の有効性を実証します。
合成データと現実世界の画像を使用して検証します。
この研究の貢献には、ガウス プロセスを使用した仮想の理想的なピンホール カメラの構築、簡素化されたキャリブレーション方法、およびレンズ歪みの除去が含まれます。

要約(オリジナル)

Camera calibration is a first and fundamental step in various computer vision applications. Despite being an active field of research, Zhang’s method remains widely used for camera calibration due to its implementation in popular toolboxes. However, this method initially assumes a pinhole model with oversimplified distortion models. In this work, we propose a novel approach that involves a pre-processing step to remove distortions from images by means of Gaussian processes. Our method does not need to assume any distortion model and can be applied to severely warped images, even in the case of multiple distortion sources, e.g., a fisheye image of a curved mirror reflection. The Gaussian processes capture all distortions and camera imperfections, resulting in virtual images as though taken by an ideal pinhole camera with square pixels. Furthermore, this ideal GP-camera only needs one image of a square grid calibration pattern. This model allows for a serious upgrade of many algorithms and applications that are designed in a pure projective geometry setting but with a performance that is very sensitive to nonlinear lens distortions. We demonstrate the effectiveness of our method by simplifying Zhang’s calibration method, reducing the number of parameters and getting rid of the distortion parameters and iterative optimization. We validate by means of synthetic data and real world images. The contributions of this work include the construction of a virtual ideal pinhole camera using Gaussian processes, a simplified calibration method and lens distortion removal.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google