ShadowMamba: State-Space Model with Boundary-Region Selective Scan for Shadow Removal

要約

画像の影の除去は典型的な低レベルの視覚の問題であり、影の存在により特定の領域の明るさが急激に変化し、上流のタスクの精度に影響を与えます。
現在の影の除去方法は、残留境界アーティファクトなどの課題に依然として直面しており、影を除去して残留境界アーティファクトを除去するには、影境界での特徴情報をキャプチャすることが重要です。
最近、Mamba は線形複雑さを持つ長いシーケンスの情報をグローバルにモデル化することにより、コンピューター ビジョンで目覚ましい成功を収めました。
ただし、画像の影の除去に適用すると、元の Mamba スキャン方法では、同じ領域内の意味の連続性だけでなく、影の境界の意味の連続性も見落とされます。
影画像の独特な特性に基づいて,本論文では,境界領域選択走査と呼ばれる新しい選択走査法を提案した。
この方法では、境界領域、影の領域、影のない領域を個別にスキャンし、長いシーケンスの中で同じ領域タイプのピクセルを近づけ、特に影の除去に重要な境界の局所情報に焦点を当てます。
この方法は、グローバル スキャンとチャネル スキャンを組み合わせて影の除去を共同で実行します。
私たちはモデルを ShadowMamba と名付けます。これは、影を除去するための最初の Mamba ベースのモデルです。
広範な実験結果は、私たちの方法が複数のデータセットのほとんどのメトリクスにわたって現在の最先端のモデルよりも優れていることを示しています。
ShadowMamba のコードは、次の場所で入手できます (コードは承認され次第リリースされます)。

要約(オリジナル)

Image shadow removal is a typical low-level vision problem, where the presence of shadows leads to abrupt changes in brightness in certain regions, affecting the accuracy of upstream tasks. Current shadow removal methods still face challenges such as residual boundary artifacts, and capturing feature information at shadow boundaries is crucial for removing shadows and eliminating residual boundary artifacts. Recently, Mamba has achieved remarkable success in computer vision by globally modeling long-sequence information with linear complexity. However, when applied to image shadow removal, the original Mamba scanning method overlooks the semantic continuity of shadow boundaries as well as the continuity of semantics within the same region. Based on the unique characteristics of shadow images, this paper proposes a novel selective scanning method called boundary-region selective scanning. This method scans boundary regions, shadow regions, and non-shadow regions independently, bringing pixels of the same region type closer together in the long sequence, especially focusing on the local information at the boundaries, which is crucial for shadow removal. This method combines with global scanning and channel scanning to jointly accomplish the shadow removal. We name our model ShadowMamba, the first Mamba-based model for shadow removal. Extensive experimental results show that our method outperforms current state-of-the-art models across most metrics on multiple datasets. The code for ShadowMamba is available at (Code will be released upon acceptance).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google