UnShadowNet: Illumination Critic Guided Contrastive Learning For Shadow Removal

要約

影は、自動運転などの実際の環境におけるコンピュータビジョン認識システムのパフォーマンスを著しく妨げる自然現象に頻繁に遭遇します。
これに対する解決策は、知覚システムの処理前に画像から影の領域を除去することです。
しかし、そのようなソリューションをトレーニングするには、位置合わせされた影のある画像と影のない画像のペアが必要ですが、これは取得が困難です。
対照学習を使用してトレーニングされた、新しい弱教師付き影除去フレームワーク UnShadowNet を紹介します。
これは、イルミネーション批評家によって敵対的に訓練されたイルミネーション ネットワークの指導の下、抽出されたシャドウの除去を担当する DeShadower ネットワークと、アーティファクトをさらに除去するためのリファインメント ネットワークで構成されています。
UnShadowNet を完全に監視されたセットアップに簡単に拡張して、利用可能な場合にはグラウンド トゥルースを利用できることを示します。
UnShadowNet は、弱監視セットアップと完全監視セットアップの両方で、公開されている 3 つのシャドウ データセット (ISTD、調整済み ISTD、SRD) に対して既存の最先端のアプローチよりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Shadows are frequently encountered natural phenomena that significantly hinder the performance of computer vision perception systems in practical settings, e.g., autonomous driving. A solution to this would be to eliminate shadow regions from the images before the processing of the perception system. Yet, training such a solution requires pairs of aligned shadowed and non-shadowed images which are difficult to obtain. We introduce a novel weakly supervised shadow removal framework UnShadowNet trained using contrastive learning. It is composed of a DeShadower network responsible for the removal of the extracted shadow under the guidance of an Illumination network which is trained adversarially by the illumination critic and a Refinement network to further remove artefacts. We show that UnShadowNet can be easily extended to a fully-supervised set-up to exploit the ground-truth when available. UnShadowNet outperforms existing state-of-the-art approaches on three publicly available shadow datasets (ISTD, adjusted ISTD, SRD) in both the weakly and fully supervised setups.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google