Shadow-Aware Dynamic Convolution for Shadow Removal

要約

多くの収集された画像に広範囲の影があるため、多くのダウンストリーム マルチメディア タスクにとって汚染されていない画像が非常に重要であるため、影の除去に対する注目が高まっています。
現在の方法では、シャドウ領域と非シャドウ領域のカラー マッピング間の大きなギャップを無視しながら、シャドウ領域と非シャドウ領域の両方で同じ畳み込み操作を考慮しているため、再構築された画像の品質が低下し、計算負荷が大きくなります。
この問題を解決するために、このホワイト ペーパーでは、シャドウ領域と非シャドウ領域の間の相互依存性を切り離すための新しいプラグ アンド プレイ シャドウ認識動的畳み込み (SADC) モジュールを紹介します。
非影領域のカラー マッピングは学習しやすいという事実に着想を得て、SADC は軽量の畳み込みモジュールを使用して非影領域を計算コストの低い方法で処理し、より複雑な畳み込みモジュールを使用して影領域を復元します。
画像再構成の品質。
非影領域には多くの場合、より多くの背景色情報が含まれているため、非影領域から影領域への情報の流れを強化するために、新しい畳み込み内蒸留損失をさらに開発します。
ISTD および SRD データセットでの広範な実験により、私たちの方法が多くの最先端技術よりも優れたシャドウ除去パフォーマンスを達成することが示されています。
コードは https://github.com/xuyimin0926/SADC で入手できます。

要約(オリジナル)

With a wide range of shadows in many collected images, shadow removal has aroused increasing attention since uncontaminated images are of vital importance for many downstream multimedia tasks. Current methods consider the same convolution operations for both shadow and non-shadow regions while ignoring the large gap between the color mappings for the shadow region and the non-shadow region, leading to poor quality of reconstructed images and a heavy computation burden. To solve this problem, this paper introduces a novel plug-and-play Shadow-Aware Dynamic Convolution (SADC) module to decouple the interdependence between the shadow region and the non-shadow region. Inspired by the fact that the color mapping of the non-shadow region is easier to learn, our SADC processes the non-shadow region with a lightweight convolution module in a computationally cheap manner and recovers the shadow region with a more complicated convolution module to ensure the quality of image reconstruction. Given that the non-shadow region often contains more background color information, we further develop a novel intra-convolution distillation loss to strengthen the information flow from the non-shadow region to the shadow region. Extensive experiments on the ISTD and SRD datasets show our method achieves better performance in shadow removal over many state-of-the-arts. Our code is available at https://github.com/xuyimin0926/SADC.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google