DEFormer: DCT-driven Enhancement Transformer for Low-light Image and Dark Vision

要約

低照度画像強調の目的は、画像の色と詳細を復元することであり、自動運転における高度な視覚タスクにとって非常に重要です。
しかし、RGB ドメインのみに頼って暗部で失われたディテールを復元することは困難です。
この論文では、新しい手がかりとして周波数をネットワークに導入し、新しい DCT 駆動のエンハンスメント トランスフォーマー (DEFormer) を提案します。
まず、DCT 処理と曲率ベースの周波数強調 (CFE) を含む周波数強調のための学習可能な周波数ブランチ (LFB) を提案します。
CFE は、各チャネルの曲率を計算してさまざまな周波数帯域のディテールの豊かさを表現し、次に周波数特徴を分割して、より豊かなテクスチャを持つ周波数帯域に焦点を当てます。
さらに、RGB ドメインと周波数ドメイン間の差異を低減するためのクロスドメイン融合 (CDF) を提案します。
また、暗所検出の前処理として DEFormer を採用し、DEFormer は検出器のパフォーマンスを効果的に向上させ、mAP 上の ExDark データセットと DARK FACE データセットにそれぞれ 2.1% と 3.4% の改善をもたらしました。

要約(オリジナル)

The goal of low-light image enhancement is to restore the color and details of the image and is of great significance for high-level visual tasks in autonomous driving. However, it is difficult to restore the lost details in the dark area by relying only on the RGB domain. In this paper we introduce frequency as a new clue into the network and propose a novel DCT-driven enhancement transformer (DEFormer). First, we propose a learnable frequency branch (LFB) for frequency enhancement contains DCT processing and curvature-based frequency enhancement (CFE). CFE calculates the curvature of each channel to represent the detail richness of different frequency bands, then we divides the frequency features, which focuses on frequency bands with richer textures. In addition, we propose a cross domain fusion (CDF) for reducing the differences between the RGB domain and the frequency domain. We also adopt DEFormer as a preprocessing in dark detection, DEFormer effectively improves the performance of the detector, bringing 2.1% and 3.4% improvement in ExDark and DARK FACE datasets on mAP respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google