Specularity Factorization for Low-Light Enhancement

要約

我々は、分解中にスパース性を調整することで簡単に再帰的に推定できる複数の潜在的な鏡面反射成分で構成される画像を扱う、新しい加算的画像因数分解手法を提案します。
私たちのモデル駆動型 {\em RSFNet} は、少数のスカラーのみを学習するだけで最適化をネットワーク層に展開することで、これらの要因を推定します。
結果として得られる要素は設計によって解釈可能であり、ネットワークを介してさまざまな画像強調タスクに融合したり、制御可能な方法でユーザーが直接組み合わせたりすることができます。
RSFNet に基づいて、ペアまたはアンペアの監視なしでトレーニングされたゼロ参照の低照度強化 (LLE) アプリケーションについて詳しく説明します。
私たちのシステムは、標準ベンチマークで最先端のパフォーマンスを向上させ、他の複数のデータセットでより優れた一般化を実現します。
また、無視できるオーバーヘッドでディレイニング、ブレ除去、かすみ除去などのアプリケーション向けに他のタスク固有の融合ネットワークと係数を統合することで、提案する RSFNet のマルチドメインおよびマルチタスクの汎用性を強調します。
コードとデータは、再現性を目的としてプロジェクトのホームページで公開されています。

要約(オリジナル)

We present a new additive image factorization technique that treats images to be composed of multiple latent specular components which can be simply estimated recursively by modulating the sparsity during decomposition. Our model-driven {\em RSFNet} estimates these factors by unrolling the optimization into network layers requiring only a few scalars to be learned. The resultant factors are interpretable by design and can be fused for different image enhancement tasks via a network or combined directly by the user in a controllable fashion. Based on RSFNet, we detail a zero-reference Low Light Enhancement (LLE) application trained without paired or unpaired supervision. Our system improves the state-of-the-art performance on standard benchmarks and achieves better generalization on multiple other datasets. We also integrate our factors with other task specific fusion networks for applications like deraining, deblurring and dehazing with negligible overhead thereby highlighting the multi-domain and multi-task generalizability of our proposed RSFNet. The code and data is released for reproducibility on the project homepage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google