TransWeather: Transformer-based Restoration of Images Degraded by Adverse Weather Conditions

要約

雨、霧、雪などの悪天候を画像から取り除くことは、多くのアプリケーションで重要な問題です。
文献で提案されているほとんどの方法は、1つのタイプの劣化を取り除くだけで対処するように設計されています。
最近、すべての気象条件を一度に削除するために、ニューラルアーキテクチャ検索（オールインワン）を使用したCNNベースの方法が提案されました。
ただし、複数のエンコーダーを使用して各気象除去タスクに対応し、パフォーマンスを改善する余地があるため、多数のパラメーターがあります。
この作業では、すべての悪天候の除去の問題に対する効率的なソリューションの開発に焦点を当てます。
この目的のために、TransWeatherを提案します。これは、単一のエンコーダーとデコーダーを備えたトランスベースのエンドツーエンドモデルであり、あらゆる気象条件によって劣化した画像を復元できます。
具体的には、パッチ内変圧器ブロックを使用する新しい変圧器エンコーダーを利用して、パッチ内の注意を強化し、小さな天候の悪化を効果的に除去します。
また、手元の気象劣化に適応するために、学習可能な気象タイプの埋め込みを備えた変圧器デコーダーを紹介します。
TransWeatherは、オールインワンネットワークと特定のタスク用に微調整されたメソッドの両方で、複数のテストデータセットにわたって改善を実現します。
TransWeatherは、実際のテスト画像でも検証されており、以前の方法よりも効果的であることがわかりました。
実装コードには、https：//github.com/jeya-maria-jose/TransWeatherからアクセスできます。

要約(オリジナル)

Removing adverse weather conditions like rain, fog, and snow from images is an important problem in many applications. Most methods proposed in the literature have been designed to deal with just removing one type of degradation. Recently, a CNN-based method using neural architecture search (All-in-One) was proposed to remove all the weather conditions at once. However, it has a large number of parameters as it uses multiple encoders to cater to each weather removal task and still has scope for improvement in its performance. In this work, we focus on developing an efficient solution for the all adverse weather removal problem. To this end, we propose TransWeather, a transformer-based end-to-end model with just a single encoder and a decoder that can restore an image degraded by any weather condition. Specifically, we utilize a novel transformer encoder using intra-patch transformer blocks to enhance attention inside the patches to effectively remove smaller weather degradations. We also introduce a transformer decoder with learnable weather type embeddings to adjust to the weather degradation at hand. TransWeather achieves improvements across multiple test datasets over both All-in-One network as well as methods fine-tuned for specific tasks. TransWeather is also validated on real world test images and found to be more effective than previous methods. Implementation code can be accessed at https://github.com/jeya-maria-jose/TransWeather .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google