Structure-Informed Shadow Removal Networks

要約

影の除去はコンピュータビジョンにおける基本的なタスクである。成功にもかかわらず、既存の深層学習ベースの影除去方法は、依然として影の残骸を持つ画像を生成する。これらの影の残骸は一般的に低い強度値を持つ均質な領域に存在し、既存の画像間マッピングパラダイムでは追跡不可能である。我々は、実験から、影は主に画像構造レベル（人間が連続した色で満たされた物体の輪郭を知覚するレベル）で物体の色を劣化させることを確認した。そこで、本論文では、画像構造レベルで影を除去することを提案する。この考え方に基づき、我々は、画像構造情報を活用して影の残像問題に対処する新しい構造情報付き影除去ネットワーク（StructNet）を提案する。具体的には、StructNetはまず影のない入力画像の構造情報を再構築し、その後、画像レベルの影除去を導く前に、復元された影のない構造を利用します。StructNetは2つの主要な新規モジュールを含んでいます：（1）非影から影への方向性で画像構造特徴を抽出するマスクガイドシャドウフリー抽出（MSFE）モジュール、（2）特徴の一貫性を正則化するために影のない構造情報を活用するマルチスケール特徴・残差集約（MFRA）モジュールです。さらに、StructNetを拡張し、多階層構造情報（MStructNet）を活用することで、最小限の計算量で影除去性能をさらに向上させることを提案する。3つの影除去ベンチマークを用いた広範な実験により、本手法が既存の影除去手法を凌駕することを実証するとともに、本StructNetを既存の手法に統合することで、さらに性能を向上させることが可能であることを確認しました。

要約(オリジナル)

Shadow removal is a fundamental task in computer vision. Despite the success, existing deep learning-based shadow removal methods still produce images with shadow remnants. These shadow remnants typically exist in homogeneous regions with low intensity values, making them untraceable in the existing image-to-image mapping paradigm. We observe from our experiments that shadows mainly degrade object colors at the image structure level (in which humans perceive object outlines filled with continuous colors). Hence, in this paper, we propose to remove shadows at the image structure level. Based on this idea, we propose a novel structure-informed shadow removal network (StructNet) to leverage the image structure information to address the shadow remnant problem. Specifically, StructNet first reconstructs the structure information of the input image without shadows and then uses the restored shadow-free structure prior to guiding the image-level shadow removal. StructNet contains two main novel modules: (1) a mask-guided shadow-free extraction (MSFE) module to extract image structural features in a non-shadow to shadow directional manner, and (2) a multi-scale feature & residual aggregation (MFRA) module to leverage the shadow-free structure information to regularize feature consistency. In addition, we also propose to extend StructNet to exploit multi-level structure information (MStructNet), to further boost the shadow removal performance with minimum computational overheads. Extensive experiments on three shadow removal benchmarks demonstrate that our method outperforms existing shadow removal methods, and our StructNet can be integrated with existing methods to boost their performances further.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL