FishRecGAN: An End to End GAN Based Network for Fisheye Rectification and Calibration

要約

タイトル：FishRecGAN：魚眼画像の矯正とキャリブレーションのためのエンドツーエンドGANベースのネットワーク

要約：
– 魚眼画像を矯正し、同時にカメラの内在的な歪みやパラメータを調整するためのエンドツーエンドの深層学習アプローチを提案する。
– Quick Image Rectification ModuleとCalibration Moduleの2つのパーツから構成される。
– Quick Rectification Networkは、Pix2Pix GANとWasserstein GAN（W-Pix2PixGAN）で開発された堅牢な矯正を実行し、優れた解像度で実行されるため、カメラベースの監視装置の定常キャリブレーションに適している。
– 高品質のキャリブレーションを実現するために、Quick Rectification Moduleからの正しい出力をCalibration Moduleの指導的なセマンティック特徴マップとして使用して、直線状の特徴と歪んだ特徴の幾何学的関係を学習する。
– 合成されたラベル付きデータセットを使用して、方法をトレーニングおよび検証し、高品質の矯正とキャリブレーションを実現した。この解決策は、高解像度で22.343の大きなPSNR値を持つ堅牢なパフォーマンスを発揮した。

要約(オリジナル)

We propose an end-to-end deep learning approach to rectify fisheye images and simultaneously calibrate camera intrinsic and distortion parameters. Our method consists of two parts: a Quick Image Rectification Module developed with a Pix2Pix GAN and Wasserstein GAN (W-Pix2PixGAN), and a Calibration Module with a CNN architecture. Our Quick Rectification Network performs robust rectification with good resolution, making it suitable for constant calibration in camera-based surveillance equipment. To achieve high-quality calibration, we use the straightened output from the Quick Rectification Module as a guidance-like semantic feature map for the Calibration Module to learn the geometric relationship between the straightened feature and the distorted feature. We train and validate our method with a large synthesized dataset labeled with well-simulated parameters applied to a perspective image dataset. Our solution has achieved robust performance in high-resolution with a significant PSNR value of 22.343.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI