Leveraging Inpainting for Single-Image Shadow Removal

要約

完全に監視された影の除去方法は、公開データセットで最高の復元品質を達成しますが、それでもいくつかの影の残りを生成します。
その理由の 1 つは、大規模な影と影のない画像のペアがないことです。
教師なしの方法は問題を軽減できますが、その復元品質は完全に教師ありの方法よりもはるかに低くなります。
この作業では、画像修復データセットでシャドウ除去ネットワークを事前トレーニングすると、シャドウの残りを大幅に削減できることがわかりました。
わずか 10% の影と影のない画像のペアによる最先端の方法。
さらに、事前トレーニングの修復あり/なしのネットワークの違いを分析し、次のことを観察します。事前トレーニングの修復により、ネットワークが見逃した意味情報を埋める能力が向上します。
影除去の微調整により、ネットワークは影領域の詳細を埋める方法を認識します。
上記の観察に触発されて、影の削除と画像の修復を利用するために、影の削除を影ガイド付きの修復タスクとして定式化します。
具体的には、2 つのブランチを持つシャドウ情報に基づいた動的フィルタリング ネットワークを構築します。画像修復ブランチはシャドウ マスクされた画像を入力として受け取り、2 番目のブランチはシャドウ画像を入力として受け取り、最初のブランチの動的カーネルとオフセットを推定して、
欠落しているセマンティック情報と詳細を提供します。
広範な実験により、修復によって強化された方法がすべての最先端の方法よりも優れていることが示されています。

要約(オリジナル)

Fully-supervised shadow removal methods achieve top restoration qualities on public datasets but still generate some shadow remnants. One of the reasons is the lack of large-scale shadow & shadow-free image pairs. Unsupervised methods can alleviate the issue but their restoration qualities are much lower than those of fully-supervised methods. In this work, we find that pretraining shadow removal networks on the image inpainting dataset can reduce the shadow remnants significantly: a naive encoder-decoder network gets competitive restoration quality w.r.t. the state-of-the-art methods via only 10% shadow & shadow-free image pairs. We further analyze the difference between networks with/without inpainting pretraining and observe that: inpainting pretraining enhances networks’ capability of filling missed semantic information; shadow removal fine-tuning makes the networks know how to fill details of the shadow regions. Inspired by the above observations, we formulate shadow removal as a shadow-guided inpainting task to take advantage of the shadow removal and image inpainting. Specifically, we build a shadow-informed dynamic filtering network with two branches: the image inpainting branch takes the shadow-masked image as input while the second branch takes the shadow image as input and is to estimate dynamic kernels and offsets for the first branch to provide missing semantic information and details. The extensive experiments show that our method empowered with inpainting outperforms all state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google