Ultra-High-Definition Low-Light Image Enhancement: A Benchmark and Transformer-Based Method

要約

光学センサーの品質が向上するにつれて、大規模な画像を処理する必要があります。
特に、デバイスが超高解像度 (UHD) の画像とビデオをキャプチャする機能は、画像処理パイプラインに新たな要求を課します。
この論文では、低照度画像強調 (LLIE) のタスクを検討し、4K および 8K 解像度の画像で構成される大規模なデータベースを紹介します。
体系的なベンチマーク調査を実施し、現在の LLIE アルゴリズムの比較を提供します。
2 番目の貢献として、変圧器ベースの低照度強化方法である LLFormer を紹介します。
LLFormer のコア コンポーネントは、軸ベースのマルチヘッド セルフアテンションおよびクロスレイヤー アテンション フュージョン ブロックであり、線形の複雑さを大幅に軽減します。
新しいデータセットと既存の公開データセットに関する広範な実験により、LLFormer が最先端の方法よりも優れていることが示されています。
また、前処理ステップとしてベンチマークでトレーニングされた既存の LLIE メソッドを使用すると、暗い場所での顔検出など、ダウンストリーム タスクのパフォーマンスが大幅に向上することも示しています。
ソース コードと事前トレーニング済みのモデルは、https://github.com/TaoWangzj/LLFormer で入手できます。

要約(オリジナル)

As the quality of optical sensors improves, there is a need for processing large-scale images. In particular, the ability of devices to capture ultra-high definition (UHD) images and video places new demands on the image processing pipeline. In this paper, we consider the task of low-light image enhancement (LLIE) and introduce a large-scale database consisting of images at 4K and 8K resolution. We conduct systematic benchmarking studies and provide a comparison of current LLIE algorithms. As a second contribution, we introduce LLFormer, a transformer-based low-light enhancement method. The core components of LLFormer are the axis-based multi-head self-attention and cross-layer attention fusion block, which significantly reduces the linear complexity. Extensive experiments on the new dataset and existing public datasets show that LLFormer outperforms state-of-the-art methods. We also show that employing existing LLIE methods trained on our benchmark as a pre-processing step significantly improves the performance of downstream tasks, e.g., face detection in low-light conditions. The source code and pre-trained models are available at https://github.com/TaoWangzj/LLFormer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google