WavShadow: Wavelet Based Shadow Segmentation and Removal

要約

影の除去とセグメンテーションは、コンピュータ ビジョン、特に現実世界の複雑なシナリオにおいて依然として困難なタスクです。
この研究では、Masked Autoencoder (MAE) 事前分布と高速フーリエ畳み込み (FFC) ブロックを組み込むことで ShadowFormer モデルを強化し、大幅に高速な収束とパフォーマンスの向上につながる新しいアプローチを紹介します。
重要なイノベーションを紹介します: (1) コンテキスト理解をより良くするための Places2 データセットでトレーニングされた MAE 事前分布の統合、(2) 強化されたエッジ検出とマルチスケール分析のための Haar ウェーブレット機能の採用、(3) 改良された SAM アダプターの実装
堅牢なシャドウセグメンテーション。
挑戦的な DESOBA データセットに対する広範な実験により、私たちのアプローチが収束速度と影除去品質の両方において顕著な改善をもたらし、最先端の結果を達成できることが実証されました。

要約(オリジナル)

Shadow removal and segmentation remain challenging tasks in computer vision, particularly in complex real-world scenarios. This study presents a novel approach that enhances the ShadowFormer model by incorporating Masked Autoencoder (MAE) priors and Fast Fourier Convolution (FFC) blocks, leading to significantly faster convergence and improved performance. We introduce key innovations: (1) integration of MAE priors trained on Places2 dataset for better context understanding, (2) adoption of Haar wavelet features for enhanced edge detection and multi-scale analysis, and (3) implementation of a modified SAM Adapter for robust shadow segmentation. Extensive experiments on the challenging DESOBA dataset demonstrate that our approach achieves state-of-the-art results, with notable improvements in both convergence speed and shadow removal quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google