MobileMEF: Fast and Efficient Method for Multi-Exposure Fusion

要約

最近のカメラ設計と画像技術の進歩により、スマートフォンを使用して高品質の画像を撮影できるようになりました。
ただし、デジタル カメラのダイナミック レンジは限られているため、照明のバランスが非常に悪い環境で撮影された写真の品質は、多くの場合、低品質の画像になります。
この問題に対処するために、ほとんどのデバイスは多重露出フレームをキャプチャし、その後、何らかの多重露出フュージョン手法を使用して、それらのフレームを最終的なフュージョン画像にマージします。
それにもかかわらず、従来および現在の深層学習アプローチのほとんどは、大量の計算量とメモリ要件があるため、モバイル デバイス上のリアルタイム アプリケーションには適していません。
我々は、モバイルデバイス向けに調整された効率的なビルディングブロックを備えたエンコーダ・デコーダ深層学習アーキテクチャに基づく多重露出フュージョンの新しい方法を提案します。
この効率的な設計により、当社のモデルはミッドレンジのスマートフォンで 4K 解像度の画像を 2 秒未満で処理できます。
私たちの手法は、フルリファレンスの品質測定と計算効率 (ランタイムとメモリ使用量) に関して最先端の手法を上回っており、ハードウェアに制約のあるデバイス上のリアルタイム アプリケーションに最適です。
コードは https://github.com/LucasKirsten/MobileMEF から入手できます。

要約(オリジナル)

Recent advances in camera design and imaging technology have enabled the capture of high-quality images using smartphones. However, due to the limited dynamic range of digital cameras, the quality of photographs captured in environments with highly imbalanced lighting often results in poor-quality images. To address this issue, most devices capture multi-exposure frames and then use some multi-exposure fusion method to merge those frames into a final fused image. Nevertheless, most traditional and current deep learning approaches are unsuitable for real-time applications on mobile devices due to their heavy computational and memory requirements. We propose a new method for multi-exposure fusion based on an encoder-decoder deep learning architecture with efficient building blocks tailored for mobile devices. This efficient design makes our model capable of processing 4K resolution images in less than 2 seconds on mid-range smartphones. Our method outperforms state-of-the-art techniques regarding full-reference quality measures and computational efficiency (runtime and memory usage), making it ideal for real-time applications on hardware-constrained devices. Our code is available at: https://github.com/LucasKirsten/MobileMEF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google