OmniSCV: An Omnidirectional Synthetic Image Generator for Computer Vision

要約

全方位および 360{\deg} 画像が産業界や消費社会に普及しつつあり、全方位コンピュータ ビジョンが注目を集めています。
広い視野により、画像だけから環境に関する大量の情報を収集できます。
ただし、これらの画像の歪みには、その処理と解釈のための特定のアルゴリズムの開発が必要です。
さらに、学習に基づいてコンピュータ ビジョン アルゴリズムを正しくトレーニングするには、多数の画像が不可欠です。
この論文では、セマンティック情報と深度情報を備えた全方位画像のデータセットを生成するツールを紹介します。
これらの画像は、インターフェイス プラグインを通じて Unreal Engine 4 の現実的な仮想環境で取得された一連のキャプチャから合成されます。
正距円筒図法や円筒形パノラマ、さまざまな魚眼レンズ、反射屈折システム、経験的モデルなど、さまざまなよく知られた投影モデルを収集します。
さらに、私たちのツールには、非中心パノラマおよび非中心反射屈折システムとしてフォトリアリスティックな非中心投影システムが含まれています。
私たちが知る限り、これは文献でフォトリアリスティックな非中心画像を生成するための最初に報告されたツールです。
さらに、全天球画像は仮想的に作成されるため、カメラのキャリブレーション パラメーターに関する完全な知識だけでなく、セマンティクスと深度に関するピクセル単位の情報も提供されます。
これにより、学習アルゴリズムのトレーニングや 3D ビジョン アプローチのテストのための、ピクセル精度のグラウンドトゥルース情報の作成が可能になります。
提案されたツールを検証するために、屈折および反射屈折中心画像からのライン抽出、正距円筒パノラマを使用した 3D レイアウト回復と SLAM、および非中心パノラマからの 3D 再構成として、さまざまなコンピュータ ビジョン アルゴリズムがテストされます。

要約(オリジナル)

Omnidirectional and 360{\deg} images are becoming widespread in industry and in consumer society, causing omnidirectional computer vision to gain attention. Their wide field of view allows the gathering of a great amount of information about the environment from only an image. However, the distortion of these images requires the development of specific algorithms for their treatment and interpretation. Moreover, a high number of images is essential for the correct training of computer vision algorithms based on learning. In this paper, we present a tool for generating datasets of omnidirectional images with semantic and depth information. These images are synthesized from a set of captures that are acquired in a realistic virtual environment for Unreal Engine 4 through an interface plugin. We gather a variety of well-known projection models such as equirectangular and cylindrical panoramas, different fish-eye lenses, catadioptric systems, and empiric models. Furthermore, we include in our tool photorealistic non-central-projection systems as non-central panoramas and non-central catadioptric systems. As far as we know, this is the first reported tool for generating photorealistic non-central images in the literature. Moreover, since the omnidirectional images are made virtually, we provide pixel-wise information about semantics and depth as well as perfect knowledge of the calibration parameters of the cameras. This allows the creation of ground-truth information with pixel precision for training learning algorithms and testing 3D vision approaches. To validate the proposed tool, different computer vision algorithms are tested as line extractions from dioptric and catadioptric central images, 3D Layout recovery and SLAM using equirectangular panoramas, and 3D reconstruction from non-central panoramas.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google