NFI$_2$: Learning Noise-Free Illuminance-Interpolator for Unsupervised Low-Light Image Enhancement

要約

低照度の状況では、消費者向け写真における美的品質の追求が大幅に制限されます。
ヒューリスティックの設計には多くの努力が注がれていますが、一般に、複雑なネットワーク アーキテクチャや経験的戦略を積み上げるなど、浅い退屈のスパイラルにはまってしまいます。
照明補償の重要な物理原理をどのように掘り下げるかが無視されてきました。
複雑さを単純化する方法に従って、この論文では、シンプルで効率的なノイズフリー照明補間器 (NFI$_2$) を革新的に提案します。
限られたダイナミックレンジ内の照度と反射率の制約原理に従って、回復プロセスの事前知識として、学習可能な照度補間器を構築し、それによって不均一な照明を補償します。
注釈付きデータなしでノイズ除去を適応させることを目的として、ノイズのない低照度画像を取得するための固有の画像特性を備えた自己調整型デノイザーを設計します。
自然画像多様体の特性から出発して、より自然で現実的な反射率マップを促進する方法として、自己正則化された回復損失が導入されます。
モデルのアーキテクチャとトレーニングの損失は、事前知識に基づいて相互に補完し、利益をもたらし、強力な教師なし学習フレームワークを形成します。
包括的な実験により、提案されたアルゴリズムが、未知の現実世界のシナリオにおいて好ましい一般化能力を維持しながら、競合する定性的および定量的結果を生み出すことが実証されました。

要約(オリジナル)

Low-light situations severely restrict the pursuit of aesthetic quality in consumer photography. Although many efforts are devoted to designing heuristics, it is generally mired in a shallow spiral of tedium, such as piling up complex network architectures and empirical strategies. How to delve into the essential physical principles of illumination compensation has been neglected. Following the way of simplifying the complexity, this paper innovatively proposes a simple and efficient Noise-Free Illumination Interpolator (NFI$_2$). According to the constraint principle of illuminance and reflectance within a limited dynamic range, as a prior knowledge in the recovery process, we construct a learnable illuminance interpolator and thereby compensating for non-uniform lighting. With the intention of adapting denoising without annotated data, we design a self-calibrated denoiser with the intrinsic image properties to acquire noise-free low-light images. Starting from the properties of natural image manifolds, a self-regularized recovery loss is introduced as a way to encourage more natural and realistic reflectance map. The model architecture and training losses, guided by prior knowledge, complement and benefit each other, forming a powerful unsupervised leaning framework. Comprehensive experiments demonstrate that the proposed algorithm produces competitive qualitative and quantitative results while maintaining favorable generalization capability in unknown real-world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google