Modeling the Lighting in Scenes as Style for Auto White-Balance Correction

要約

スタイルは、特徴空間がどのように形成されるかに応じて、さまざまな概念 (ペイント スタイル、ヘアスタイル、テクスチャ、色、フィルターなど) を指す場合があります。
この作品では、スタイルの概念として、単一光源および複数光源のシーンの照明を解釈するという斬新なアイデアを提案します。
このアイデアを検証するために、スタイル ファクターとして単一光源および混合光源のシーンの照明をモデル化する拡張自動ホワイト バランス (AWB) メソッドを導入します。
私たちの AWB メソッドは、照明推定ステップを必要としませんが、異なる WB 設定で画像の重み付けマップを生成するためのネットワーク学習を含んでいます。
提案されたネットワークは、マルチヘッド スタイル抽出モジュールによってシーンから抽出されたスタイル情報を利用します。
これらの重み付けマップとシーンをブレンドすると、AWB 補正が完了します。
単一および混合光源データセットに関する実験は、最近の研究と比較して、提案された方法が有望な補正結果を達成することを示しています。
これは、複数のイルミネーションを含むシーンの照明がスタイルの概念によってモデル化できることを示しています。
ソース コードとトレーニング済みモデルは、https://github.com/birdortyedi/lighting-as-style-awb-correction で入手できます。

要約(オリジナル)

Style may refer to different concepts (e.g. painting style, hairstyle, texture, color, filter, etc.) depending on how the feature space is formed. In this work, we propose a novel idea of interpreting the lighting in the single- and multi-illuminant scenes as the concept of style. To verify this idea, we introduce an enhanced auto white-balance (AWB) method that models the lighting in single- and mixed-illuminant scenes as the style factor. Our AWB method does not require any illumination estimation step, yet contains a network learning to generate the weighting maps of the images with different WB settings. Proposed network utilizes the style information, extracted from the scene by a multi-head style extraction module. AWB correction is completed after blending these weighting maps and the scene. Experiments on single- and mixed-illuminant datasets demonstrate that our proposed method achieves promising correction results when compared to the recent works. This shows that the lighting in the scenes with multiple illuminations can be modeled by the concept of style. Source code and trained models are available on https://github.com/birdortyedi/lighting-as-style-awb-correction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google