CAPformer: Compression-Aware Pre-trained Transformer for Low-Light Image Enhancement

要約

低照度画像強化 (LLIE) は、電話写真の需要の急増に伴って進歩してきましたが、既存の方法の多くは圧縮を無視しており、リソースが限られた電話写真では重大な懸念事項となります。
ほとんどの LLIE メソッドはこれを見落としており、その有効性が妨げられています。
この研究では、低照度画像に対する JPEG 圧縮の影響を調査し、暗い領域で広範囲にわたる低いピクセル値が原因で JPEG によって引き起こされる実質的な情報損失を明らかにしました。
そこで、非圧縮の低照度画像から損失のない情報を学習するための新しい事前トレーニング戦略を採用した、Compression-Aware Pre-trained Transformer (CAPformer) を提案します。
さらに、提案されている明るさ誘導セルフアテンション (BGSA) メカニズムにより、合理的な情報収集が強化されます。
実験では、LLIE に対する圧縮効果の軽減における私たちのアプローチの優位性が実証され、リソースに制約のあるシナリオで LLIE を改善する可能性が示されました。

要約(オリジナル)

Low-Light Image Enhancement (LLIE) has advanced with the surge in phone photography demand, yet many existing methods neglect compression, a crucial concern for resource-constrained phone photography. Most LLIE methods overlook this, hindering their effectiveness. In this study, we investigate the effects of JPEG compression on low-light images and reveal substantial information loss caused by JPEG due to widespread low pixel values in dark areas. Hence, we propose the Compression-Aware Pre-trained Transformer (CAPformer), employing a novel pre-training strategy to learn lossless information from uncompressed low-light images. Additionally, the proposed Brightness-Guided Self-Attention (BGSA) mechanism enhances rational information gathering. Experiments demonstrate the superiority of our approach in mitigating compression effects on LLIE, showcasing its potential for improving LLIE in resource-constrained scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google