Multiple Latent Space Mapping for Compressed Dark Image Enhancement

要約

暗い画像の強調は、暗い画像を通常の光の画像に変換することを目的としています。
既存の暗い画像強調方法は、非圧縮の暗い画像を入力として受け取り、優れたパフォーマンスを実現します。
ただし、実際には、暗い画像は保存したり、インターネット上で送信したりする前に圧縮されることがよくあります。
現在の方法では、圧縮された暗い画像を処理するとパフォーマンスが低下します。
暗い領域に隠されたアーティファクトは、現在の方法では増幅され、観察者にとって不快な視覚効果をもたらします。
この観察に基づいて、この研究は、圧縮アーティファクトの増幅を回避しながら、圧縮された暗い画像を強化することを目的としています。
圧縮された暗い画像ではテクスチャの詳細が圧縮アーティファクトと絡み合っているため、画像空間ではディテールの強調とブロッキング アーティファクトの抑制は互いに矛盾します。
したがって、潜在空間でタスクを処理します。
この目的を達成するために、変分自動エンコーダ (VAE) に基づく新しい潜在マッピング ネットワークを提案します。
まず、単一解像度機能のみを備えたこれまでの VAE ベースの方法とは異なり、多重解像度機能を備えた複数の潜在空間を利用して、細部のぼやけを軽減し、画像の忠実度を向上させます。
具体的には、2 つのマルチレベル VAE をトレーニングして、圧縮された暗い画像と通常の光の画像をそれぞれの潜在空間に投影します。
次に、潜在マッピング ネットワークを活用して、特徴を圧縮された暗空間から通常の光空間に変換します。
具体的には、暗さと圧縮の劣化モデルが異なるため、潜在マッピングプロセスは、エンライトニングブランチとデブロッキングブランチに分割されます。
包括的な実験により、提案された方法が圧縮された暗い画像の強調において最先端のパフォーマンスを達成することが実証されました。

要約(オリジナル)

Dark image enhancement aims at converting dark images to normal-light images. Existing dark image enhancement methods take uncompressed dark images as inputs and achieve great performance. However, in practice, dark images are often compressed before storage or transmission over the Internet. Current methods get poor performance when processing compressed dark images. Artifacts hidden in the dark regions are amplified by current methods, which results in uncomfortable visual effects for observers. Based on this observation, this study aims at enhancing compressed dark images while avoiding compression artifacts amplification. Since texture details intertwine with compression artifacts in compressed dark images, detail enhancement and blocking artifacts suppression contradict each other in image space. Therefore, we handle the task in latent space. To this end, we propose a novel latent mapping network based on variational auto-encoder (VAE). Firstly, different from previous VAE-based methods with single-resolution features only, we exploit multiple latent spaces with multi-resolution features, to reduce the detail blur and improve image fidelity. Specifically, we train two multi-level VAEs to project compressed dark images and normal-light images into their latent spaces respectively. Secondly, we leverage a latent mapping network to transform features from compressed dark space to normal-light space. Specifically, since the degradation models of darkness and compression are different from each other, the latent mapping process is divided mapping into enlightening branch and deblocking branch. Comprehensive experiments demonstrate that the proposed method achieves state-of-the-art performance in compressed dark image enhancement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google