Soft-Hard Attention U-Net Model and Benchmark Dataset for Multiscale Image Shadow Removal

要約

効果的な影の除去は、コンピュータ ビジョンからデジタル写真に至るまで、さまざまなアプリケーションで画像の視覚的な品質を向上させる上で極めて重要です。
過去数十年間、物理学と機械学習に基づいた方法論が提案されてきました。
ただし、それらのほとんどは、モデルの仮定が制限されているため、複雑な影のパターンをキャプチャする能力が限られており、影は通常異なるスケールで表示されるという事実が無視されています。
また、影の除去のベンチマークに使用されている現在のデータセットは、主に単一の物体によって投じられる均一な影を含む単純なシーンを含む限られた数の画像で構成されていますが、手動の影の注釈とペアの影のない画像の両方を含むデータセットはそのうちのわずかしかありません。
複雑なシーンを含む都市環境を含む自然シーンのイメージングのコンテキストにおけるこれらすべての制限に対処することを目的としたこの研究の貢献は 2 つあります: a) Soft-Hard Attendant U-net (SHAU) と呼ばれる新しい深層学習アーキテクチャを提案します。
、マルチスケールの影の除去に焦点を当てています。
b) マルチスケール影除去データセット (MSRD) と呼ばれる、複数のスケールの複雑な影パターンを含む新しい合成データセットを提供し、将来の影除去方法のより包括的なベンチマークのためのプライバシー保護データセットとして機能することを目的としています。
SHAU の主要なアーキテクチャ コンポーネントは、ソフト アテンション モジュールとハード アテンション モジュールであり、マルチスケール特徴抽出ブロックとともに、さまざまなスケールや強度の効果的な影の除去を可能にします。
この結果は、さまざまなベンチマーク データセットにわたって、関連する最先端の影除去手法に対する SHAU の有効性を示しており、影部分のピーク信号対雑音比と二乗平均平方根誤差が 25.1% と 61.3% 改善されています。
それぞれ。

要約(オリジナル)

Effective shadow removal is pivotal in enhancing the visual quality of images in various applications, ranging from computer vision to digital photography. During the last decades physics and machine learning -based methodologies have been proposed; however, most of them have limited capacity in capturing complex shadow patterns due to restrictive model assumptions, neglecting the fact that shadows usually appear at different scales. Also, current datasets used for benchmarking shadow removal are composed of a limited number of images with simple scenes containing mainly uniform shadows cast by single objects, whereas only a few of them include both manual shadow annotations and paired shadow-free images. Aiming to address all these limitations in the context of natural scene imaging, including urban environments with complex scenes, the contribution of this study is twofold: a) it proposes a novel deep learning architecture, named Soft-Hard Attention U-net (SHAU), focusing on multiscale shadow removal; b) it provides a novel synthetic dataset, named Multiscale Shadow Removal Dataset (MSRD), containing complex shadow patterns of multiple scales, aiming to serve as a privacy-preserving dataset for a more comprehensive benchmarking of future shadow removal methodologies. Key architectural components of SHAU are the soft and hard attention modules, which along with multiscale feature extraction blocks enable effective shadow removal of different scales and intensities. The results demonstrate the effectiveness of SHAU over the relevant state-of-the-art shadow removal methods across various benchmark datasets, improving the Peak Signal-to-Noise Ratio and Root Mean Square Error for the shadow area by 25.1% and 61.3%, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google