WavShadow: Wavelet Based Shadow Segmentation and Removal

要約

影の除去とセグメンテーションは、コンピュータ ビジョン、特に複雑な現実世界のシナリオにおいて依然として困難なタスクです。
この研究では、Masked Autoencoder (MAE) 事前分布と高速フーリエ畳み込み (FFC) ブロックを組み込むことで ShadowFormer モデルを強化し、大幅に高速な収束とパフォーマンスの向上につながる新しいアプローチを紹介します。
重要なイノベーションを紹介します: (1) コンテキスト理解をより良くするための Places2 データセットでトレーニングされた MAE 事前分布の統合、(2) 強化されたエッジ検出とマルチスケール分析のための Haar ウェーブレット機能の採用、(3) 堅牢なシャドウのための修正された SAM アダプターの実装
セグメンテーション。
挑戦的な DESOBA データセットに対する広範な実験により、私たちのアプローチが収束速度と影除去品質の両方において顕著な改善をもたらし、最先端の結果を達成できることが実証されました。

要約(オリジナル)

Shadow removal and segmentation remain challenging tasks in computer vision, particularly in complex real world scenarios. This study presents a novel approach that enhances the ShadowFormer model by incorporating Masked Autoencoder (MAE) priors and Fast Fourier Convolution (FFC) blocks, leading to significantly faster convergence and improved performance. We introduce key innovations: (1) integration of MAE priors trained on Places2 dataset for better context understanding, (2) adoption of Haar wavelet features for enhanced edge detection and multiscale analysis, and (3) implementation of a modified SAM Adapter for robust shadow segmentation. Extensive experiments on the challenging DESOBA dataset demonstrate that our approach achieves state of the art results, with notable improvements in both convergence speed and shadow removal quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google