SLLEN: Semantic-aware Low-light Image Enhancement Network

要約

セマンティック機能を効果的に探索する方法は、ローライト イメージ エンハンスメント (LLE) にとって重要です。
既存の方法は通常、高レベルのセマンティック セグメンテーション ネットワーク (SSN) によって生成されるセマンティック マップからのみ描画されるセマンティック機能を利用します。
ただし、セマンティック マップが正確に推定されない場合、高レベル セマンティック フィーチャ (HSF) の抽出に影響し、LLE に干渉します。
この論文では、ランダムな中間埋め込み機能（IEF）（つまり、セマンティック セグメンテーション ネットワークの中間層から抽出された情報）を、
より良い LLE のための統一されたフレームワークへの HSF。
具体的には、1 つのブランチについて、アテンション メカニズムを利用して HSF を低レベル機能に統合します。
もう一方のブランチでは、IEF を抽出して、非線形変換方法を使用して低レベルの機能の調整をガイドします。
最後に、2 つの分岐から得られたセマンティック認識機能が融合され、画像強調のためにデコードされます。
IEF は、HSF に比べてセマンティック特性が類似しているにもかかわらず、ある程度のランダム性を持っていることに言及する価値がある。
神は 2022 年の物理学ノーベル賞でさいころを転がします。提案された SLLEN と他の最先端の技術との比較は、すべての同等の代替手段よりも LLE の品質に関して SLLEN の優位性を示しています。

要約(オリジナル)

How to effectively explore semantic feature is vital for low-light image enhancement (LLE). Existing methods usually utilize the semantic feature that is only drawn from the semantic map produced by high-level semantic segmentation network (SSN). However, if the semantic map is not accurately estimated, it would affect the high-level semantic feature (HSF) extraction, which accordingly interferes with LLE. In this paper, we develop a simple yet effective two-branch semantic-aware LLE network (SLLEN) that neatly integrates the random intermediate embedding feature (IEF) (i.e., the information extracted from the intermediate layer of semantic segmentation network) together with the HSF into a unified framework for better LLE. Specifically, for one branch, we utilize an attention mechanism to integrate HSF into low-level feature. For the other branch, we extract IEF to guide the adjustment of low-level feature using nonlinear transformation manner. Finally, semantic-aware features obtained from two branches are fused and decoded for image enhancement. It is worth mentioning that IEF has some randomness compared to HSF despite their similarity on semantic characteristics, thus its introduction can allow network to learn more possibilities by leveraging the latent relationships between the low-level feature and semantic feature, just like the famous saying ‘God rolls the dice’ in Physics Nobel Prize 2022. Comparisons between the proposed SLLEN and other state-of-the-art techniques demonstrate the superiority of SLLEN with respect to LLE quality over all the comparable alternatives.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google