Towards Image Ambient Lighting Normalization

要約

照明の正規化は非常に重要ですが、広範な用途に使用できる修復タスクとしては十分に検討されていません。
ただし、既存の作品では、影の除去のコンテキスト内でこのタスクが単純化され、光源が 1 つに制限され、シーンが過度に単純化されるため、複雑なセルフシャドウが除外され、サーフェス クラスが滑らかなものに制限されます。
有望ではありますが、このような単純化は、日常使用で遭遇するより現実的な設定への一般化を妨げます。
この論文では、アンビエント照明正規化 (ALN) と呼ばれる新しい挑戦的なタスクを提案します。これにより、影間の相互作用の研究が可能になり、より広い文脈で画像の復元と影の除去が統合されます。
ALN に適切なデータセットの欠如に対処するために、複数の光源から取得されたサンプルで構成され、複雑な形状から生じる自己影を含む、この種のものとしては初めてとなる大規模な高解像度データセット Ambient6K を導入します。
ベンチマークでは、さまざまな主流の手法を選択し、Ambient6K 上で厳密に評価します。
さらに、影の局在化事前分布に依存することなく、さまざまな照明条件下で局所領域を選択的に復元するために、画像と周波数の結合エントロピーを最大化する新しい強力なベースラインである IFBlend を提案します。
実験の結果、IFBlend は Ambient6K で SOTA スコアを達成し、マスク プライアを使用した影固有のモデルと比較して、従来の影除去ベンチマークで競争力のあるパフォーマンスを示すことがわかりました。
データセット、ベンチマーク、コードは https://github.com/fvasluianu97/IFBlend で入手できます。

要約(オリジナル)

Lighting normalization is a crucial but underexplored restoration task with broad applications. However, existing works often simplify this task within the context of shadow removal, limiting the light sources to one and oversimplifying the scene, thus excluding complex self-shadows and restricting surface classes to smooth ones. Although promising, such simplifications hinder generalizability to more realistic settings encountered in daily use. In this paper, we propose a new challenging task termed Ambient Lighting Normalization (ALN), which enables the study of interactions between shadows, unifying image restoration and shadow removal in a broader context. To address the lack of appropriate datasets for ALN, we introduce the large-scale high-resolution dataset Ambient6K, comprising samples obtained from multiple light sources and including self-shadows resulting from complex geometries, which is the first of its kind. For benchmarking, we select various mainstream methods and rigorously evaluate them on Ambient6K. Additionally, we propose IFBlend, a novel strong baseline that maximizes Image-Frequency joint entropy to selectively restore local areas under different lighting conditions, without relying on shadow localization priors. Experiments show that IFBlend achieves SOTA scores on Ambient6K and exhibits competitive performance on conventional shadow removal benchmarks compared to shadow-specific models with mask priors. The dataset, benchmark, and code are available at https://github.com/fvasluianu97/IFBlend.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google