Global-Local Stepwise Generative Network for Ultra High-Resolution Image Restoration

要約

通常のサイズの劣化した画像から画像の背景を復元する研究は目覚ましい進歩を遂げていますが、超高解像度 (4K など) 画像の復元は、計算量とメモリ使用量の爆発的な増加、および欠陥のせいで依然として非常に困難な作業です。
注釈付きデータの。
この論文では、グローバル-ローカル段階的生成ネットワーク (GLSGN) と呼ばれる超高解像度画像復元の新しいモデルを紹介します。このモデルは、3 つのローカル パスと 1 つのグローバル パスの 4 つの復元経路を含む段階的復元戦略を採用しています。
ローカル パスウェイは、ローカルではあるが高解像度の画像パッチに対してきめ細かい方法で画像復元を実行することに焦点を当てますが、グローバル パスウェイは、縮小されているが無傷の画像に対して大まかに画像復元を実行して、全体的なビューでローカル パスウェイの手がかりを提供します。
セマンティクスやノイズパターンも含まれます。
これら 4 つの経路間の相互連携を円滑にするために、当社の GLSGN は、それぞれ低レベルのコンテンツ、知覚的注意、強度の回復、および高レベルのセマンティクスの 4 つの側面で経路間の一貫性を確保するように設計されています。
この研究のもう 1 つの主な貢献として、4,670 枚の実世界画像と合成画像で構成される、反射除去と雨縞除去の両方に対応する、これまでで初の超高解像度データセットも導入しました。
画像の反射除去、画像の雨縞の除去、画像のかすみ除去など、画像の背景を復元するための 3 つの典型的なタスクにわたる広範な実験により、当社の GLSGN が常に最先端の方法よりも優れたパフォーマンスを発揮することが示されました。

要約(オリジナル)

While the research on image background restoration from regular size of degraded images has achieved remarkable progress, restoring ultra high-resolution (e.g., 4K) images remains an extremely challenging task due to the explosion of computational complexity and memory usage, as well as the deficiency of annotated data. In this paper we present a novel model for ultra high-resolution image restoration, referred to as the Global-Local Stepwise Generative Network (GLSGN), which employs a stepwise restoring strategy involving four restoring pathways: three local pathways and one global pathway. The local pathways focus on conducting image restoration in a fine-grained manner over local but high-resolution image patches, while the global pathway performs image restoration coarsely on the scale-down but intact image to provide cues for the local pathways in a global view including semantics and noise patterns. To smooth the mutual collaboration between these four pathways, our GLSGN is designed to ensure the inter-pathway consistency in four aspects in terms of low-level content, perceptual attention, restoring intensity and high-level semantics, respectively. As another major contribution of this work, we also introduce the first ultra high-resolution dataset to date for both reflection removal and rain streak removal, comprising 4,670 real-world and synthetic images. Extensive experiments across three typical tasks for image background restoration, including image reflection removal, image rain streak removal and image dehazing, show that our GLSGN consistently outperforms state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google