Towards Real-World Focus Stacking with Deep Learning

要約

深度合成は、フォーカスブラケティング、つまり被写界深度が浅く、異なる焦点面で得られた複数のフレームからすべて焦点が合った画像を再構成するために、マイクロ、マクロ、風景写真で広く使用されています。
根底にある多焦点画像融合問題に対する既存の深層学習アプローチは、非常に短い画像シーケンス (2 ～ 4 枚の画像) 向けに設計されており、通常は取得した小さい低解像度のデータセットでトレーニングされるため、現実世界の画像への適用性が限られています。
ライトフィールドカメラによって、または合成的に生成されます。
私たちは、最先端の商用ソフトウェアを使用してデータから計算された疑似グラウンド トゥルースを備えた、フォーカス ブラケットを備えた生画像の 94 個の高解像度バーストで構成される新しいデータセットを紹介します。
このデータセットは、現実世界のアプリケーションに十分な長さのバーストを処理できる焦点スタッキング用の最初の深層学習アルゴリズムをトレーニングするために使用されます。
定性的な実験では、長時間バーストの現実的な領域では既存の商用ソリューションと同等でありながら、ノイズに対する耐性が大幅に優れていることが実証されています。
コードとデータセットは https://github.com/araujoalexandre/FocusStackingDataset で入手できます。

要約(オリジナル)

Focus stacking is widely used in micro, macro, and landscape photography to reconstruct all-in-focus images from multiple frames obtained with focus bracketing, that is, with shallow depth of field and different focus planes. Existing deep learning approaches to the underlying multi-focus image fusion problem have limited applicability to real-world imagery since they are designed for very short image sequences (two to four images), and are typically trained on small, low-resolution datasets either acquired by light-field cameras or generated synthetically. We introduce a new dataset consisting of 94 high-resolution bursts of raw images with focus bracketing, with pseudo ground truth computed from the data using state-of-the-art commercial software. This dataset is used to train the first deep learning algorithm for focus stacking capable of handling bursts of sufficient length for real-world applications. Qualitative experiments demonstrate that it is on par with existing commercial solutions in the long-burst, realistic regime while being significantly more tolerant to noise. The code and dataset are available at https://github.com/araujoalexandre/FocusStackingDataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google