Latent Feature-Guided Diffusion Models for Shadow Removal

要約

影画像から影のないシーンを推定することは困難であるため、影下のテクスチャを復元することは依然として困難な問題である。本論文では、拡散モデルの利用を提案する。拡散モデルは、拡散処理中に影領域の詳細を徐々に洗練する有望なアプローチを提供するからである。本手法では、無影画像の特徴を継承した学習済みの潜在特徴空間を条件とすることで、このプロセスを改善し、劣化画像のみを条件とする従来手法の限界を回避する。さらに、ノイズ特徴を拡散ネットワークに融合することで、学習中の潜在的な局所最適を緩和することを提案する。我々は、AISTDデータセットにおいて、RMSEの点で従来の最良手法を13%上回る我々のアプローチの有効性を実証する。さらに、インスタンスレベルでの影の除去を検討し、DESOBAデータセットにおいて、我々のモデルがRMSEの点で従来の最良手法を82%上回る。

要約(オリジナル)

Recovering textures under shadows has remained a challenging problem due to the difficulty of inferring shadow-free scenes from shadow images. In this paper, we propose the use of diffusion models as they offer a promising approach to gradually refine the details of shadow regions during the diffusion process. Our method improves this process by conditioning on a learned latent feature space that inherits the characteristics of shadow-free images, thus avoiding the limitation of conventional methods that condition on degraded images only. Additionally, we propose to alleviate potential local optima during training by fusing noise features with the diffusion network. We demonstrate the effectiveness of our approach which outperforms the previous best method by 13% in terms of RMSE on the AISTD dataset. Further, we explore instance-level shadow removal, where our model outperforms the previous best method by 82% in terms of RMSE on the DESOBA dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL