Towards an Effective and Efficient Transformer for Rain-by-snow Weather Removal

要約

タイトル：雪による雨を取り除くための効果的かつ効率的なTransformerの開発

要約：

– 「雨による雪の取り除き」は、共存する雨の線と雪の粒子を取り除くことを目的とする天候劣化画像の復元における特殊なタスクです。
– 本論文では、この課題に対処する効率的かつ効果的なTransformerであるRSFormerを提案しています。
– まず、畳み込みネットワーク(ConvNet)とビジョンTransformer(ViT)の階層的アーキテクチャにおける類似性を探求し、山場内の特徴学習に近いパフォーマンスを実験的に確認します。
– その基盤として、入力内容に適応する注意特性を維持しながら、計算上の負荷が高い自己注意を置き換えるTransformerのような畳み込みブロック(TCB)を使用します。
– パフォーマンスの改善にはクロスステージの進展が重要であることを示し、グローバル/ローカル自己注意サンプリング機構(GLASM)を提案します。 この機構では、特徴をダウン/アップサンプリングしながら、グローバルおよびローカルの依存関係の両方を捉えます。
– 最後に、RSFormerを評価するために、RSCityScapeとRS100Kの2つの新しい雨による雪のデータセットを合成します。
– 広範な実験により、他の回復方法と比較してパフォーマンスと時間消費のトレードオフの最良のバランスを達成することができることがRSFormerで確認されました。 たとえば、Restormerよりパラメータ数を1.53％削減し、推論時間を15.6％削減できます。
– データセット、ソースコード、および事前学習済みモデルは、\url{https://github.com/chdwyb/RSFormer}で入手可能です。

要約(オリジナル)

Rain-by-snow weather removal is a specialized task in weather-degraded image restoration aiming to eliminate coexisting rain streaks and snow particles. In this paper, we propose RSFormer, an efficient and effective Transformer that addresses this challenge. Initially, we explore the proximity of convolution networks (ConvNets) and vision Transformers (ViTs) in hierarchical architectures and experimentally find they perform approximately at intra-stage feature learning. On this basis, we utilize a Transformer-like convolution block (TCB) that replaces the computationally expensive self-attention while preserving attention characteristics for adapting to input content. We also demonstrate that cross-stage progression is critical for performance improvement, and propose a global-local self-attention sampling mechanism (GLASM) that down-/up-samples features while capturing both global and local dependencies. Finally, we synthesize two novel rain-by-snow datasets, RSCityScape and RS100K, to evaluate our proposed RSFormer. Extensive experiments verify that RSFormer achieves the best trade-off between performance and time-consumption compared to other restoration methods. For instance, it outperforms Restormer with a 1.53% reduction in the number of parameters and a 15.6% reduction in inference time. Datasets, source code and pre-trained models are available at \url{https://github.com/chdwyb/RSFormer}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI