Little Strokes Fell Great Oaks: Boosting the Hierarchical Features for Multi-exposure Image Fusion

要約

近年、深層学習ネットワークは多重露出画像融合の分野で目覚ましい進歩を遂げています。
それにもかかわらず、一般的なアプローチでは、露出オーバーおよび露出不足の画像をネットワークに直接フィードすることが多く、ソース画像に存在する固有の情報が十分に活用されないことにつながります。
さらに、教師なし技術では、カラー チャネル処理に基本的な重み付け加算が主に使用され、最終的に全体的に彩度の低い最終的な画像トーンが得られます。
これらの問題を部分的に軽減するために、この研究では、ソース画像内に埋め込まれた潜在情報を最大限に活用するように特別に設計されたガンマ補正モジュールを提案します。
さらに、融合プロセスを最適化するために、自己注意メカニズムを組み込んだ修正されたトランスブロックが導入されています。
最終的には、複雑な詳細を維持しながら画像の彩度を高める、新しい色強調アルゴリズムが提供されます。
ソース コードは https://github.com/ZhiyingDu/BHFMEF で入手できます。

要約(オリジナル)

In recent years, deep learning networks have made remarkable strides in the domain of multi-exposure image fusion. Nonetheless, prevailing approaches often involve directly feeding over-exposed and under-exposed images into the network, which leads to the under-utilization of inherent information present in the source images. Additionally, unsupervised techniques predominantly employ rudimentary weighted summation for color channel processing, culminating in an overall desaturated final image tone. To partially mitigate these issues, this study proposes a gamma correction module specifically designed to fully leverage latent information embedded within source images. Furthermore, a modified transformer block, embracing with self-attention mechanisms, is introduced to optimize the fusion process. Ultimately, a novel color enhancement algorithm is presented to augment image saturation while preserving intricate details. The source code is available at https://github.com/ZhiyingDu/BHFMEF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google