End-to-end Inception-Unet based Generative Adversarial Networks for Snow and Rain Removals

要約

深層学習によって導入された優れたパフォーマンスは、単一の画像から雪や雨などの大気粒子を除去するアプローチに基づいています。
古典的なものよりもそれらの使用法が好まれます。
ただし、深層学習ベースのアプローチには、サイズ、タイプ、透明度などの粒子の外観特性に関連する課題がまだあります。
さらに、雨と雪の粒子には独特の特性があるため、単一ネットワークベースの深層学習アプローチでは、両方の劣化シナリオを同時に処理するのが困難です。
この論文では、2 つの敵対的生成ネットワーク (GAN) で構成され、それぞれが各粒子の除去を個別に処理するグローバル フレームワークが提案されています。
除雪および除雪 GAN の両方のアーキテクチャでは、特徴抽出フェーズと古典的な U-net ジェネレーター ネットワークの統合が導入されており、これにより、サイズや外観に大きな変動がある場合の除去パフォーマンスが向上します。
さらに、低ランク近似アプローチを使用して推定されたグラウンドトゥルース画像の隣に雪の画像のペアを含む現実的なデータセット。
が提示されます。
実験では、合成データセットと現実的なデータセットの両方でテストした場合、提案された除雪および排水アプローチが最先端のアプローチと比較して大幅な改善を達成することが示されています。

要約(オリジナル)

The superior performance introduced by deep learning approaches in removing atmospheric particles such as snow and rain from a single image; favors their usage over classical ones. However, deep learning-based approaches still suffer from challenges related to the particle appearance characteristics such as size, type, and transparency. Furthermore, due to the unique characteristics of rain and snow particles, single network based deep learning approaches struggle in handling both degradation scenarios simultaneously. In this paper, a global framework that consists of two Generative Adversarial Networks (GANs) is proposed where each handles the removal of each particle individually. The architectures of both desnowing and deraining GANs introduce the integration of a feature extraction phase with the classical U-net generator network which in turn enhances the removal performance in the presence of severe variations in size and appearance. Furthermore, a realistic dataset that contains pairs of snowy images next to their groundtruth images estimated using a low-rank approximation approach; is presented. The experiments show that the proposed desnowing and deraining approaches achieve significant improvements in comparison to the state-of-the-art approaches when tested on both synthetic and realistic datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google