Star-Net: Improving Single Image Desnowing Model With More Efficient Connection and Diverse Feature Interaction

要約

他の悪天候の画像復元タスクと比較して、単一画像の除雪はより困難な作業です。
これは主に雪の形状の多様性と不規則性によるもので、雪景色の画像を復元することは非常に困難です。
また、雪の粒子にはもややもやのようなベール効果もあります。
現在の作業は、さまざまな形状の雪の粒子を効果的に除去できますが、復元された画像に歪みももたらします。
これらの問題に対処するために、Star-Net と呼ばれる新しい単一画像除雪ネットワークを提案します。
最初に、スター型スキップ接続 (SSC) を設計して、雪粒子の複雑な形状を処理できるすべての異なるスケール機能の情報チャネルを確立します。次に、基本モジュールとしてマルチステージ インタラクティブ トランスフォーマー (MIT) を提示します。
Star-Net は、雪の粒子の形状をよりよく理解し、さまざまな重要な画像回復機能を明示的にモデル化することで画像の歪みに対処するように設計されています。
最後に、空間ドメインとチャネル ドメインで SSC に残留する雪粒子と雪霧をフィルタリングする Degenerate Filter Module (DFM) を提案します。
広範な実験により、当社の Star-Net は 3 つの標準除雪データセットで最先端の除雪性能を達成し、画像の元の鮮明さを保持することが示されています。

要約(オリジナル)

Compared to other severe weather image restoration tasks, single image desnowing is a more challenging task. This is mainly due to the diversity and irregularity of snow shape, which makes it extremely difficult to restore images in snowy scenes. Moreover, snow particles also have a veiling effect similar to haze or mist. Although current works can effectively remove snow particles with various shapes, they also bring distortion to the restored image. To address these issues, we propose a novel single image desnowing network called Star-Net. First, we design a Star type Skip Connection (SSC) to establish information channels for all different scale features, which can deal with the complex shape of snow particles.Second, we present a Multi-Stage Interactive Transformer (MIT) as the base module of Star-Net, which is designed to better understand snow particle shapes and to address image distortion by explicitly modeling a variety of important image recovery features. Finally, we propose a Degenerate Filter Module (DFM) to filter the snow particle and snow fog residual in the SSC on the spatial and channel domains. Extensive experiments show that our Star-Net achieves state-of-the-art snow removal performances on three standard snow removal datasets and retains the original sharpness of the images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google