Efficient and Explicit Modelling of Image Hierarchies for Image Restoration

要約

この論文の目的は、画像復元のために、グローバル、地域、およびローカルの範囲で画像階層を効率的かつ明示的にモデル化するメカニズムを提案することです。
それを達成するために、クロススケールの類似性と異方性画像の特徴を含む、自然画像の 2 つの重要な特性を分析することから始めます。
それに触発されて、自己注意の空間と時間の複雑さと、地域の範囲を超えたモデリング能力との間の良好なバランスを達成するアンカーストライプ自己注意を提案します。
次に、GRL と呼ばれる新しいネットワーク アーキテクチャを提案し、アンカー ストライプ セルフアテンション、ウィンドウ セルフアテンション、およびチャネル アテンション強化畳み込みを介して、グローバル、リージョナル、およびローカル範囲の画像階層を明示的にモデル化します。
最後に、提案されたネットワークは、実際の設定と合成設定の両方をカバーする 7 つの画像復元タイプに適用されます。
提案された方法は、それらのいくつかに対して新しい最先端技術を設定します。
コードは https://github.com/ofsoundof/GRL-Image-Restoration.git で入手できます。

要約(オリジナル)

The aim of this paper is to propose a mechanism to efficiently and explicitly model image hierarchies in the global, regional, and local range for image restoration. To achieve that, we start by analyzing two important properties of natural images including cross-scale similarity and anisotropic image features. Inspired by that, we propose the anchored stripe self-attention which achieves a good balance between the space and time complexity of self-attention and the modelling capacity beyond the regional range. Then we propose a new network architecture dubbed GRL to explicitly model image hierarchies in the Global, Regional, and Local range via anchored stripe self-attention, window self-attention, and channel attention enhanced convolution. Finally, the proposed network is applied to 7 image restoration types, covering both real and synthetic settings. The proposed method sets the new state-of-the-art for several of those. Code will be available at https://github.com/ofsoundof/GRL-Image-Restoration.git.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google