ShadowFormer: Global Context Helps Image Shadow Removal

要約

最近のディープラーニング手法は、画像の影除去において有望な結果を得ている。しかし、既存のアプローチのほとんどは、影と非影領域内の局所的な作業に焦点を当て、影境界周辺の深刻なアーティファクトだけでなく、影と非影領域間の一貫性のない照明に起因しています。このように、影と非影の間のグローバルな文脈的相関を利用することは、深い影除去モデルにとってまだ挑戦的である。本研究では、まずRetinexベースの影モデルを提案し、そこからShandowFormerと呼ばれる新しい変換器ベースのネットワークを導き出し、非影領域を利用して影領域の復元を支援する。また、マルチスケールチャネルアテンションフレームワークを採用し、グローバルな情報を階層的に捕らえる。これに基づき、我々は影と非影領域の間のコンテキスト相関を効果的にモデル化するために、ボトルネックステージで影相互作用注意（SIA）を持つ影相互作用モジュール（SIM）を提案する。提案手法を評価するために、ISTD、ISTD+、SRDの3つの有名な公共データセットを用いた広範な実験を行う。本手法は、最大150倍少ないモデルパラメータを用いて、最先端の性能を達成することができる。

要約(オリジナル)

Recent deep learning methods have achieved promising results in image shadow removal. However, most of the existing approaches focus on working locally within shadow and non-shadow regions, resulting in severe artifacts around the shadow boundaries as well as inconsistent illumination between shadow and non-shadow regions. It is still challenging for the deep shadow removal model to exploit the global contextual correlation between shadow and non-shadow regions. In this work, we first propose a Retinex-based shadow model, from which we derive a novel transformer-based network, dubbed ShandowFormer, to exploit non-shadow regions to help shadow region restoration. A multi-scale channel attention framework is employed to hierarchically capture the global information. Based on that, we propose a Shadow-Interaction Module (SIM) with Shadow-Interaction Attention (SIA) in the bottleneck stage to effectively model the context correlation between shadow and non-shadow regions. We conduct extensive experiments on three popular public datasets, including ISTD, ISTD+, and SRD, to evaluate the proposed method. Our method achieves state-of-the-art performance by using up to 150X fewer model parameters.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL