ReWiTe: Realistic Wide-angle and Telephoto Dual Camera Fusion Dataset via Beam Splitter Camera Rig

要約

広角カメラと望遠カメラを備えたデュアルカメラシステムからの画像の融合は、最近ホットスポット問題となっています。
これらのシステムから同時にキャプチャされた広角画像と望遠画像を統合することにより、結果として得られる融合画像は、高解像度の品質と併せて広い視野 (FOV) を実現します。
既存のアプローチは主に深層学習手法であり、主に教師あり学習に依存しており、トレーニング データセットが極めて重要な役割を果たしています。
ただし、現在のデータセットは通常、データ合成アプローチを採用し、グラウンドトゥルース画像とともに広角画像と望遠画像の入力ペアを生成します。
特に、広角入力は実際の広角カメラを使用してキャプチャされるのではなく合成され、グラウンドトゥルース画像は広角カメラによってキャプチャされ、その品質は望遠カメラによってキャプチャされる入力望遠画像の品質よりも大幅に低くなります。
これらの制限に対処するために、広角と望遠のデュアルカメラを備えた 2 台の本格的な携帯電話から 3 つの画像、つまり入力ペアとグランドトゥルース画像を同時にキャプチャするビームスプリッターを利用した新しいハードウェアセットアップを導入します。
具体的には、携帯電話 2 で撮影された広角画像と望遠画像が入力ペアとして機能し、携帯電話 1 で撮影された望遠画像は、携帯電話 2 からの広角画像の光路に一致するように調整され、地面として機能します。
-入力された望遠画像と同等の品質を維持した真実の画像。
実験では、ReWiTe と呼ばれる新しく導入されたデータセットの有効性が検証され、現実世界の広角および望遠のデュアル画像融合タスクに対するさまざまな既存の手法のパフォーマンスが大幅に向上します。

要約(オリジナル)

The fusion of images from dual camera systems featuring a wide-angle and a telephoto camera has become a hotspot problem recently. By integrating simultaneously captured wide-angle and telephoto images from these systems, the resulting fused image achieves a wide field of view (FOV) coupled with high-definition quality. Existing approaches are mostly deep learning methods, and predominantly rely on supervised learning, where the training dataset plays a pivotal role. However, current datasets typically adopt a data synthesis approach generate input pairs of wide-angle and telephoto images alongside ground-truth images. Notably, the wide-angle inputs are synthesized rather than captured using real wide-angle cameras, and the ground-truth image is captured by wide-angle camera whose quality is substantially lower than that of input telephoto images captured by telephoto cameras. To address these limitations, we introduce a novel hardware setup utilizing a beam splitter to simultaneously capture three images, i.e. input pairs and ground-truth images, from two authentic cellphones equipped with wide-angle and telephoto dual cameras. Specifically, the wide-angle and telephoto images captured by cellphone 2 serve as the input pair, while the telephoto image captured by cellphone 1, which is calibrated to match the optical path of the wide-angle image from cellphone 2, serves as the ground-truth image, maintaining quality on par with the input telephoto image. Experiments validate the efficacy of our newly introduced dataset, named ReWiTe, significantly enhances the performance of various existing methods for real-world wide-angle and telephoto dual image fusion tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google