Global Learnable Attention for Single Image Super-Resolution

要約

自己相似性は単一画像超解像(SISR)における非局所的なテクスチャの探索に有用である。通常、研究者は非局所テクスチャの重要度はその類似度スコアに正の関係があると仮定している。本論文では、深刻な損傷を受けたクエリテクスチャを修復する際に、ターゲットに近い低類似度の非局所テクスチャが、高類似度のものよりも正確で豊かな詳細を提供できることを意外にも発見した。このような場合、低類似度は劣っているという意味ではなく、スケールや向きの違いに起因していることが多い。この知見を活かし、我々はドットプロダクトのような固定的な類似度スコアリング関数を用いる代わりに、非局所的なテクスチャの類似度スコアを学習中に適応的に修正するGlobal Learnable Attention (GLA) を提案しています。提案するGLAは、類似度は低いがより正確な細部を持つ非局所的なテクスチャを探索し、深刻な損傷を受けたテクスチャを修復することができます。さらに、GLAの前処理として、SB-LSH（Super-Bit Locality-Sensitive Hashing）を採用することを提案する。SB-LSHを用いることで、GLAの計算量は画像サイズに対して2次関数から漸近的な線形に減少することが分かっています。また、提案するGLAは、効率的な一般構成要素として、既存の深層SISRモデルに統合することが可能です。GLAに基づき、我々はDeep Learnable Similarity Network（DLSN）を構築し、異なる劣化タイプ（例えば、ぼかしやノイズ）のSISRタスクに対して最先端の性能を達成した。我々のコードと事前学習済みのDLSNは、検証のためにGitHub{dag}にアップロードされている。

要約(オリジナル)

Self-similarity is valuable to the exploration of non-local textures in single image super-resolution (SISR). Researchers usually assume that the importance of non-local textures is positively related to their similarity scores. In this paper, we surprisingly found that when repairing severely damaged query textures, some non-local textures with low-similarity which are closer to the target can provide more accurate and richer details than the high-similarity ones. In these cases, low-similarity does not mean inferior but is usually caused by different scales or orientations. Utilizing this finding, we proposed a Global Learnable Attention (GLA) to adaptively modify similarity scores of non-local textures during training instead of only using a fixed similarity scoring function such as the dot product. The proposed GLA can explore non-local textures with low-similarity but more accurate details to repair severely damaged textures. Furthermore, we propose to adopt Super-Bit Locality-Sensitive Hashing (SB-LSH) as a preprocessing method for our GLA. With the SB-LSH, the computational complexity of our GLA is reduced from quadratic to asymptotic linear with respect to the image size. In addition, the proposed GLA can be integrated into existing deep SISR models as an efficient general building block. Based on the GLA, we constructed a Deep Learnable Similarity Network (DLSN), which achieves state-of-the-art performance for SISR tasks of different degradation types (e.g. blur and noise). Our code and a pre-trained DLSN have been uploaded to GitHub{\dag} for validation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL