Nonlocal Retinex-Based Variational Model and its Deep Unfolding Twin for Low-Light Image Enhancement

要約

低照度条件下でキャプチャされた画像は、多くのアプリケーションで大きな制限をもたらします。照明の低下は、詳細を曖昧にし、コントラストを減らし、ノイズを隠す可能性があるためです。
照明効果を削除し、そのような画像の品質を向上させることは、画像セグメンテーションやオブジェクト検出など、多くのタスクにとって重要です。
この論文では、照明、反射率、およびノイズ成分へのRetinex分解に基づいて、低光の画像強化の変動方法を提案します。
色補正前処理ステップは、低光度画像に適用され、それは分解で観測された入力として使用されます。
さらに、我々のモデルは、構造の詳細を維持するように設計された新しい非ローカルグラデーション型の忠実度の用語を統合します。
さらに、自動ガンマ補正モジュールを提案します。
提案された変分アプローチに基づいて、近位演算子が学習可能なネットワークに置き換える深い展開カウンターパートを導入することにより、モデルを拡張します。
反射率の非ローカルな事前の事前と非局所勾配ベースの制約の両方で長距離依存関係をキャプチャするための相互参加メカニズムを提案します。
実験結果は、両方の方法が異なるデータセットにわたるいくつかの最近の最先端の手法と比較して好意的に比較されることを示しています。
特に、学習戦略に依存していないにもかかわらず、変分モデルは、ほとんどの深い学習アプローチよりも視覚的にも品質メトリックの観点からも優れています。

要約(オリジナル)

Images captured under low-light conditions present significant limitations in many applications, as poor lighting can obscure details, reduce contrast, and hide noise. Removing the illumination effects and enhancing the quality of such images is crucial for many tasks, such as image segmentation and object detection. In this paper, we propose a variational method for low-light image enhancement based on the Retinex decomposition into illumination, reflectance, and noise components. A color correction pre-processing step is applied to the low-light image, which is then used as the observed input in the decomposition. Moreover, our model integrates a novel nonlocal gradient-type fidelity term designed to preserve structural details. Additionally, we propose an automatic gamma correction module. Building on the proposed variational approach, we extend the model by introducing its deep unfolding counterpart, in which the proximal operators are replaced with learnable networks. We propose cross-attention mechanisms to capture long-range dependencies in both the nonlocal prior of the reflectance and the nonlocal gradient-based constraint. Experimental results demonstrate that both methods compare favorably with several recent and state-of-the-art techniques across different datasets. In particular, despite not relying on learning strategies, the variational model outperforms most deep learning approaches both visually and in terms of quality metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google