ShadowDiffusion: Diffusion-based Shadow Removal using Classifier-driven Attention and Structure Preservation

要約

単一の画像からの影の除去は、特にソフト シャドウとセルフ シャドウが存在する場合は困難です。
ハード シャドウとは異なり、ソフト シャドウは明確な境界を示しませんが、セルフ シャドウはオブジェクト自体に投影される影です。
ほとんどの既存の方法は、ソフト シャドウとセルフ シャドウのあいまいな境界を考慮せずに、バイナリ シャドウ マスクの検出/注釈を必要とします。
ほとんどのディープ ラーニング シャドウ除去方法は GAN ベースであり、シャドウとシャドウのないドメイン間の統計的類似性が必要です。
これらの方法とは対照的に、この論文では、最初の拡散ベースの影除去方法である ShadowDiffusion を紹介します。
ShadowDiffusion は、ソフト シャドウやセルフ シャドウが存在する場合でも、単一イメージのシャドウ除去に重点を置いています。
逆拡散中に意味的に意味のある構造を回復する拡散プロセスを導くために、構造保存損失を導入します。これにより、事前にトレーニングされたビジョン トランスフォーマー (DINO-ViT) から機能を抽出します。
さらに、影領域の回復に焦点を当てるために、分類子主導の注意を拡散モデルのアーキテクチャに注入します。
シャドウが削除された領域の一貫した色を維持するために、色度の一貫性の損失を導入します。
当社の ShadowDiffusion は、SRD、AISTD、LRSS、USR、および UIUC データセットに対する最先端の方法よりも優れており、ハード シャドウ、ソフト シャドウ、セルフ シャドウを確実に削除します。
私たちの方法は、SRD データセットの画像全体の RMSE の 20% だけ SOTA 方法よりも優れています。

要約(オリジナル)

Shadow removal from a single image is challenging, particularly with the presence of soft and self shadows. Unlike hard shadows, soft shadows do not show any clear boundaries, while self shadows are shadows that cast on the object itself. Most existing methods require the detection/annotation of binary shadow masks, without taking into account the ambiguous boundaries of soft and self shadows. Most deep learning shadow removal methods are GAN-based and require statistical similarity between shadow and shadow-free domains. In contrast to these methods, in this paper, we present ShadowDiffusion, the first diffusion-based shadow removal method. ShadowDiffusion focuses on single-image shadow removal, even in the presence of soft and self shadows. To guide the diffusion process to recover semantically meaningful structures during the reverse diffusion, we introduce a structure preservation loss, where we extract features from the pre-trained Vision Transformer (DINO-ViT). Moreover, to focus on the recovery of shadow regions, we inject classifier-driven attention into the architecture of the diffusion model. To maintain the consistent colors of the regions where the shadows have been removed, we introduce a chromaticity consistency loss. Our ShadowDiffusion outperforms state-of-the-art methods on the SRD, AISTD, LRSS, USR and UIUC datasets, removing hard, soft, and self shadows robustly. Our method outperforms the SOTA method by 20% of the RMSE of the whole image on the SRD dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google