Progressive Recurrent Network for Shadow Removal

要約

単一画像の影の除去は重要な課題ですが、まだ解決されていません。
既存の深層学習ベースのアプローチのほとんどは、影を直接除去しようとするため、影をうまく扱うことができません。
この問題に対処するために、粗い方法から細かい方法までシャドウを削除することを検討し、シンプルだが効果的なプログレッシブ リカレント ネットワーク (PRNet) を提案します。
ネットワークは影を段階的に削除することを目的としており、反復回数を柔軟に調整してパフォーマンスと時間のバランスをとることができます。
私たちのネットワークは、影の特徴抽出と漸進的な影の除去の 2 つの部分で構成されています。
具体的には、最初の部分は浅い ResNet で、入力シャドウ イメージの表現を元のサイズで構築し、ダウンサンプリング操作によって引き起こされる高周波の詳細の損失を防ぎます。
2 番目の部分には、再統合モジュールと更新モジュールという 2 つの重要なコンポーネントがあります。
提案された再統合モジュールは、前の反復の出力を完全に使用し、さらなるシャドウ除去のための更新モジュールへの入力を提供します。
このように、提案された PRNet はプロセス全体をより簡潔にし、公開されている最良の方法よりも 29% のネットワーク パラメーターのみを使用します。
ISTD、ISTD+、SRD の 3 つのベンチマークに関する広範な実験により、私たちの方法が効果的に影を除去し、優れたパフォーマンスを達成できることが実証されました。

要約(オリジナル)

Single-image shadow removal is a significant task that is still unresolved. Most existing deep learning-based approaches attempt to remove the shadow directly, which can not deal with the shadow well. To handle this issue, we consider removing the shadow in a coarse-to-fine fashion and propose a simple but effective Progressive Recurrent Network (PRNet). The network aims to remove the shadow progressively, enabing us to flexibly adjust the number of iterations to strike a balance between performance and time. Our network comprises two parts: shadow feature extraction and progressive shadow removal. Specifically, the first part is a shallow ResNet which constructs the representations of the input shadow image on its original size, preventing the loss of high-frequency details caused by the downsampling operation. The second part has two critical components: the re-integration module and the update module. The proposed re-integration module can fully use the outputs of the previous iteration, providing input for the update module for further shadow removal. In this way, the proposed PRNet makes the whole process more concise and only uses 29% network parameters than the best published method. Extensive experiments on the three benchmarks, ISTD, ISTD+, and SRD, demonstrate that our method can effectively remove shadows and achieve superior performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google