Learning Semantic-Aware Knowledge Guidance for Low-Light Image Enhancement

要約

タイトル：学習技術によるセマンティック意識の高いナレッジガイドを用いた低照度画像の向上

要約：
– Low-light image enhancement（LLIE）は、照明を改善して通常の光の画像を生成する方法を研究します。
– 既存の多くの方法では、異なる領域のセマンティック情報を考慮せずに、グローバルかつ均一な方法で低照度画像を向上しています。
– セマンティック情報がないと、ネットワークは領域の元の色から簡単に逸脱してしまう可能性があります。
– この問題に対処するために、セマンティックセグメンテーションモデルにカプセル化された豊富で多様なプライオリティを学習する低照度向上モデルを支援する新しいセマンティック意識ナレッジガイドフレームワーク（SKF）を提案します。
– SKFは、照度低下画像の向上において一般的なフレームワークとして非常に魅力的であり、豊富な実験により、SKFを搭載したモデルが複数のデータセットでベースラインを大幅に上回り、SKFは異なるモデルやシーンでも一般化することができることが示されています。

要約(オリジナル)

Low-light image enhancement (LLIE) investigates how to improve illumination and produce normal-light images. The majority of existing methods improve low-light images via a global and uniform manner, without taking into account the semantic information of different regions. Without semantic priors, a network may easily deviate from a region’s original color. To address this issue, we propose a novel semantic-aware knowledge-guided framework (SKF) that can assist a low-light enhancement model in learning rich and diverse priors encapsulated in a semantic segmentation model. We concentrate on incorporating semantic knowledge from three key aspects: a semantic-aware embedding module that wisely integrates semantic priors in feature representation space, a semantic-guided color histogram loss that preserves color consistency of various instances, and a semantic-guided adversarial loss that produces more natural textures by semantic priors. Our SKF is appealing in acting as a general framework in LLIE task. Extensive experiments show that models equipped with the SKF significantly outperform the baselines on multiple datasets and our SKF generalizes to different models and scenes well. The code is available at Semantic-Aware-Low-Light-Image-Enhancement.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI