SLLEN: Semantic-aware Low-light Image Enhancement Network

要約

セマンティック特徴を効果的に探索する方法は、低照度画像強調 (LLE) にとって不可欠です。
既存の方法は通常、高レベルのセマンティック セグメンテーション (SS) ネットワークによって生成された出力からのみ抽出されるセマンティック機能を利用します。
ただし、出力が正確に推定されない場合は、高レベル セマンティック特徴 (HSF) 抽出に影響し、LLE に干渉します。
この目的を達成するために、LLE メイン ネットワーク (LLEmN) と SS 補助ネットワーク (SSaN) で構成されるシンプルで効果的なセマンティック認識 LLE ネットワーク (SSLEN) を開発します。
SLLEN では、LLEmN は、ランダム中間埋め込み機能 (IEF)、つまり SSaN の中間層から抽出された情報を、HSF とともに、より良い LLE を実現するための統一フレームワークに統合します。
SSaN は、HSF と IEF を提供する SS の役割として機能するように設計されています。
さらに、LLEmN と SSaN 間の共有エンコーダのおかげで、それらの間のコラボレーションを促進する交互トレーニング メカニズムをさらに提案します。
現在利用可能なアプローチとは異なり、提案された SLLEN は、IEF、HSF、SS データセットなどのセマンティック情報を完全に活用して LLE を支援することができ、それによってより有望な拡張パフォーマンスにつながります。
提案された SLLEN と他の最先端の技術を比較すると、LLE の品質に関して、同等のすべての代替技術よりも SLLEN が優れていることがわかります。

要約(オリジナル)

How to effectively explore semantic feature is vital for low-light image enhancement (LLE). Existing methods usually utilize the semantic feature that is only drawn from the output produced by high-level semantic segmentation (SS) network. However, if the output is not accurately estimated, it would affect the high-level semantic feature (HSF) extraction, which accordingly interferes with LLE. To this end, we develop a simple and effective semantic-aware LLE network (SSLEN) composed of a LLE main-network (LLEmN) and a SS auxiliary-network (SSaN). In SLLEN, LLEmN integrates the random intermediate embedding feature (IEF), i.e., the information extracted from the intermediate layer of SSaN, together with the HSF into a unified framework for better LLE. SSaN is designed to act as a SS role to provide HSF and IEF. Moreover, thanks to a shared encoder between LLEmN and SSaN, we further propose an alternating training mechanism to facilitate the collaboration between them. Unlike currently available approaches, the proposed SLLEN is able to fully lever the semantic information, e.g., IEF, HSF, and SS dataset, to assist LLE, thereby leading to a more promising enhancement performance. Comparisons between the proposed SLLEN and other state-of-the-art techniques demonstrate the superiority of SLLEN with respect to LLE quality over all the comparable alternatives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google