CRFormer: A Cross-Region Transformer for Shadow Removal

要約

画像中の影領域の元の強度を復元し、残りの非影領域と跡形もなく互換性を持たせることを目的とした影除去は、多くの下流画像/映像関連タスクに利益をもたらす非常に難しい問題である。近年、変換器はグローバルな画素間相互作用を捉えることにより、様々なアプリケーションでその強い能力を発揮しており、この能力はシャドウ除去において非常に望ましいものです。しかし、影除去を促進するために変換器を適用することは、以下の2つの理由から、自明ではない。1) 不規則な影の形状のため、パッチファイ演算は影除去に適していない、2) 影除去には、画像中の全画素間の共通の双方向相互作用の代わりに、非影領域から影領域への一方向の相互作用のみが必要である。本論文では，影除去のための新しい領域横断変換器であるCRFormerを提案する．この変換器は，既存の変換器とは異なり，画像をパッチに分割せずに非影領域から影領域への画素の相互作用のみを考慮した変換器である．これは、非影領域の特徴量を条件として回収された影領域の特徴量を集約する、領域を意識した交差注目操作によって実現されています。ISTD, AISTD, SRD, Video Shadow Removalの各データセットに対する広範な実験により、本手法が他の最先端手法と比較して優れていることが実証された。

要約(オリジナル)

Aiming to restore the original intensity of shadow regions in an image and make them compatible with the remaining non-shadow regions without a trace, shadow removal is a very challenging problem that benefits many downstream image/video-related tasks. Recently, transformers have shown their strong capability in various applications by capturing global pixel interactions and this capability is highly desirable in shadow removal. However, applying transformers to promote shadow removal is non-trivial for the following two reasons: 1) The patchify operation is not suitable for shadow removal due to irregular shadow shapes; 2) shadow removal only needs one-way interaction from the non-shadow region to the shadow region instead of the common two-way interactions among all pixels in the image. In this paper, we propose a novel cross-region transformer, namely CRFormer, for shadow removal which differs from existing transformers by only considering the pixel interactions from the non-shadow region to the shadow region without splitting images into patches. This is achieved by a carefully designed region-aware cross-attention operation that can aggregate the recovered shadow region features conditioned on the non-shadow region features. Extensive experiments on ISTD, AISTD, SRD, and Video Shadow Removal datasets demonstrate the superiority of our method compared to other state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL