MSP-Former: Multi-Scale Projection Transformer for Single Image Desnowing

要約

悪天候時の雪景色の画像復元は困難な作業です。
雪の画像は複雑に劣化し、きれいな画像の上に散らかって、きれいな画像の分布が変化します。
CNNに基づく以前の方法は、ローカルの誘導バイアスに特定のグローバルモデリング機能がないため、雪のシーンを復元する際に完全に削除するのが困難です。
この論文では、単一の画像からの除雪のタスクにビジョントランスフォーマーを適用します。
具体的には、チャネルに沿って分割された並列ネットワークアーキテクチャを提案し、ローカル機能の改良とグローバル情報モデリングを別々に実行します。
チャネルシャッフル操作を利用して、それぞれの長所を組み合わせてネットワークパフォーマンスを向上させます。
次に、マルチスケールavgpoolを利用してさまざまなサイズの情報を集約し、同時にマルチヘッド自己注意に対してマルチスケール投影自己注意を実行して、さまざまなスケール劣化下でのモデルの表現能力を向上させるMSPモジュールを提案します。
最後に、モデルのローカルキャプチャ機能を改良できる、軽量でシンプルなローカルキャプチャモジュールを設計します。
実験の部分では、私たちの方法の優位性を実証するために広範な実験を行います。
3つの雪シーンデータセットで以前の除雪方法を比較しました。
実験結果は、我々の方法がより少ないパラメータと計算で最先端の方法を上回っていることを示しています。
CSDテストデータセットで1.99dBとSSIM0.03の大幅な増加を達成しました。
SRRSおよびSnow100Kデータセットでは、Transweatherアプローチと比較してPSNRが2.47dBおよび1.62dB増加し、SSIMでは0.03改善されました。
視覚比較のセクションでは、MSP-Formerも既存の方法よりも優れた視覚効果を実現し、この方法の使いやすさを証明しています。

要約(オリジナル)

Image restoration of snow scenes in severe weather is a difficult task. Snow images have complex degradations and are cluttered over clean images, changing the distribution of clean images. The previous methods based on CNNs are challenging to remove perfectly in restoring snow scenes due to their local inductive biases’ lack of a specific global modeling ability. In this paper, we apply the vision transformer to the task of snow removal from a single image. Specifically, we propose a parallel network architecture split along the channel, performing local feature refinement and global information modeling separately. We utilize a channel shuffle operation to combine their respective strengths to enhance network performance. Second, we propose the MSP module, which utilizes multi-scale avgpool to aggregate information of different sizes and simultaneously performs multi-scale projection self-attention on multi-head self-attention to improve the representation ability of the model under different scale degradations. Finally, we design a lightweight and simple local capture module, which can refine the local capture capability of the model. In the experimental part, we conduct extensive experiments to demonstrate the superiority of our method. We compared the previous snow removal methods on three snow scene datasets. The experimental results show that our method surpasses the state-of-the-art methods with fewer parameters and computation. We achieve substantial growth by 1.99dB and SSIM 0.03 on the CSD test dataset. On the SRRS and Snow100K datasets, we also increased PSNR by 2.47dB and 1.62dB compared with the Transweather approach and improved by 0.03 in SSIM. In the visual comparison section, our MSP-Former also achieves better visual effects than existing methods, proving the usability of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google