Weakly-Supervised Stitching Network for Real-World Panoramic Image Generation

要約

最近、エンド ツー エンドのディープ ラーニング ベースのスティッチング モデルに注目が集まっています。
しかし、深層学習ベースのスティッチングで最も難しいのは、実世界のシーンからキャプチャされた狭い視野の入力画像と広い視野のグラウンド トゥルース画像のペアを取得することです。
この困難を克服するために、本物のグラウンドトゥルース画像を必要とせずにスティッチングモデルをトレーニングするための弱い教師付き学習メカニズムを開発しました。
さらに、複数の現実世界の魚眼画像を入力として取り、正距円筒図法形式で 360 度の出力画像を作成するスティッチング モデルを提案します。
特に、私たちのモデルは、色の一貫性の修正、ワーピング、およびブレンディングで構成され、知覚損失と SSIM 損失によってトレーニングされます。
提案されたアルゴリズムの有効性は、2 つの実世界のステッチング データセットで検証されます。

要約(オリジナル)

Recently, there has been growing attention on an end-to-end deep learning-based stitching model. However, the most challenging point in deep learning-based stitching is to obtain pairs of input images with a narrow field of view and ground truth images with a wide field of view captured from real-world scenes. To overcome this difficulty, we develop a weakly-supervised learning mechanism to train the stitching model without requiring genuine ground truth images. In addition, we propose a stitching model that takes multiple real-world fisheye images as inputs and creates a 360 output image in an equirectangular projection format. In particular, our model consists of color consistency corrections, warping, and blending, and is trained by perceptual and SSIM losses. The effectiveness of the proposed algorithm is verified on two real-world stitching datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google