Towards Local Underexposed Photo Enhancement

要約

非常にリアルな画像を生成する深い生成モデルの能力に触発されて、最近の多くの研究は露出不足の画像をグローバルに強化することで進歩を遂げました。
ただし、局所的な画像強調アプローチは検討されていませんが、局所的な露出不足の修正など、現実のシナリオでは必要です。
この作業では、ユーザーが入力マスクでどの領域を照らすかを制御できる、露出不足の画像強調のための新しいタスク設定を定義します。
マスクで示されるように、画像は、マスクされた領域 A、遷移領域 B、およびマスクされていない領域 C を含む 3 つの領域に分割できます。その結果、領域 A は目的の照明に照らされ、滑らかな遷移が存在する必要があります。
（エリアB） 明るくなったエリア（エリアA）から未変化のエリア（エリアC）へ。
このタスクを完了するために、マスクを追加チャネルとして連結する (MConcat)、マスクベースの正規化 (MNorm) という 2 つの方法を提案します。
MConcat は単にマスク チャネルを入力画像に追加するだけですが、MNorm は空間的に変化するピクセルを動的に強化し、強化された画像が入力マスクによって示される要件と一致することを保証します。
さらに、MConcat はプレイ アンド プラグ モジュールとして機能し、画像をグローバルに強化する既存のネットワークと組み合わせて、ローカルな強化を実現できます。
また、さまざまなモデル構造に合わせて統一された、Area A、Area B、Area C の 3 種類の損失関数を使用して、ネットワーク全体をトレーニングできます。
低照度強調のためのさまざまなパラメトリック アプローチ、畳み込みニュートラル ネットワーク ベースのモデル、およびトランスフォーマー ベースのモデルを使用して、パブリック データセットで広範な実験を行い、メソッドの有効性を実証します。

要約(オリジナル)

Inspired by the ability of deep generative models to generate highly realistic images, much recent work has made progress in enhancing underexposed images globally. However, the local image enhancement approach has not been explored, although they are requisite in the real-world scenario, e.g., fixing local underexposure. In this work, we define a new task setting for underexposed image enhancement where users are able to control which region to be enlightened with an input mask. As indicated by the mask, an image can be divided into three areas, including Masked Area A, Transition Area B, and Unmasked Area C. As a result, Area A should be enlightened to the desired lighting, and there shall be a smooth transition (Area B) from the enlightened area (Area A) to the unchanged region (Area C). To finish this task, we propose two methods: Concatenate the mask as additional channels (MConcat), Mask-based Normlization (MNorm). While MConcat simply append the mask channels to the input images, MNorm can dynamically enhance the spatial-varying pixels, guaranteeing the enhanced images are consistent with the requirement indicated by the input mask. Moreover, MConcat serves as a play-and-plug module, and can be incorporated with existing networks, which globally enhance images, to achieve the local enhancement. And the overall network can be trained with three kinds of loss functions in Area A, Area B, and Area C, which are unified for various model structures. We perform extensive experiments on public datasets with various parametric approaches for low-light enhancement, %the Convolutional-Neutral-Network-based model and Transformer-based model, demonstrating the effectiveness of our methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google