Learning A Sparse Transformer Network for Effective Image Deraining

要約

トランスフォーマーベースの方法は、高品質の画像再構成に不可欠な非局所情報をモデル化できるため、画像のデレイン化で大きなパフォーマンスを達成しました。
このホワイトペーパーでは、ほとんどの既存のトランスフォーマーが通常、クエリとキーのペアからのトークンのすべての類似性を機能集約に使用していることがわかります。
ただし、クエリからのトークンがキーのトークンと異なる場合、これらのトークンから推定されるセルフアテンション値も特徴集約に関与するため、鮮明な画像の復元が妨げられます。
この問題を克服するために、効果的な DeRaining ネットワーク、スパース トランスフォーマー (DRSformer) を提案します。これは、特徴集約に最も有用な自己注意値を適応的に保持できるため、集約された特徴が高品質の画像再構成をより容易にします。
具体的には、学習可能な上位 k 選択演算子を開発して、各クエリのキーから最も重要な注意スコアを適応的に保持し、より優れた機能集約を実現します。
同時に、Transformers の単純なフィード フォワード ネットワークは、潜在的な鮮明な画像の復元に重要なマルチスケール情報をモデル化しないため、効果的な混合スケール フィード フォワード ネットワークを開発して、画像の脱線のためのより優れた機能を生成します。
CNN オペレーターからのローカル コンテキストを組み合わせた、ハイブリッド機能の強化されたセットを学習するために、モデルに専門家機能の混合補償子を装備して、協力の洗練された脱線スキームを提示します。
一般的に使用されるベンチマークに関する広範な実験結果は、提案された方法が最先端のアプローチに対して良好なパフォーマンスを達成することを示しています。
ソース コードとトレーニング済みモデルは、https://github.com/cschenxiang/DRSformer で入手できます。

要約(オリジナル)

Transformers-based methods have achieved significant performance in image deraining as they can model the non-local information which is vital for high-quality image reconstruction. In this paper, we find that most existing Transformers usually use all similarities of the tokens from the query-key pairs for the feature aggregation. However, if the tokens from the query are different from those of the key, the self-attention values estimated from these tokens also involve in feature aggregation, which accordingly interferes with the clear image restoration. To overcome this problem, we propose an effective DeRaining network, Sparse Transformer (DRSformer) that can adaptively keep the most useful self-attention values for feature aggregation so that the aggregated features better facilitate high-quality image reconstruction. Specifically, we develop a learnable top-k selection operator to adaptively retain the most crucial attention scores from the keys for each query for better feature aggregation. Simultaneously, as the naive feed-forward network in Transformers does not model the multi-scale information that is important for latent clear image restoration, we develop an effective mixed-scale feed-forward network to generate better features for image deraining. To learn an enriched set of hybrid features, which combines local context from CNN operators, we equip our model with mixture of experts feature compensator to present a cooperation refinement deraining scheme. Extensive experimental results on the commonly used benchmarks demonstrate that the proposed method achieves favorable performance against state-of-the-art approaches. The source code and trained models are available at https://github.com/cschenxiang/DRSformer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google