TAPE: Task-Agnostic Prior Embedding for Image Restoration

要約

自然画像復元のための一般化事前分布を学習することは，重要かつ困難な課題である．初期の方法は、正規化スパース、l_0勾配、ダークチャンネル事前分布を含む手作りの事前分布をほとんど含んでいた。近年、ディープニューラルネットワークが様々な画像事前分布を学習するために用いられているが、汎化することは保証されていない。本論文では、タスク不可知論的な事前分布を変換器に埋め込むという新しいアプローチを提案する。本アプローチはTask-Agnostic Prior Embedding (TAPE)と名付けられ、タスクに依存しない事前学習とタスクに依存した微調整の2段階からなり、第1段階では自然画像に関する事前知識を変換器に埋め込み、第2段階では下流の画像復元を補助するために知識を抽出する。様々な種類の劣化を対象とした実験により、TAPEの有効性を検証しています。PSNRの観点からの画像復元性能は1.45dBも向上し、タスクに特化したアルゴリズムをも凌駕しています。さらに重要なことは、TAPEは劣化した画像から一般化された画像プリオールを分離する能力を示し、未知の下流タスクへの良好な移植能力を享受する。

要約(オリジナル)

Learning a generalized prior for natural image restoration is an important yet challenging task. Early methods mostly involved handcrafted priors including normalized sparsity, l_0 gradients, dark channel priors, etc. Recently, deep neural networks have been used to learn various image priors but do not guarantee to generalize. In this paper, we propose a novel approach that embeds a task-agnostic prior into a transformer. Our approach, named Task-Agnostic Prior Embedding (TAPE), consists of two stages, namely, task-agnostic pre-training and task-specific fine-tuning, where the first stage embeds prior knowledge about natural images into the transformer and the second stage extracts the knowledge to assist downstream image restoration. Experiments on various types of degradation validate the effectiveness of TAPE. The image restoration performance in terms of PSNR is improved by as much as 1.45dB and even outperforms task-specific algorithms. More importantly, TAPE shows the ability of disentangling generalized image priors from degraded images, which enjoys favorable transfer ability to unknown downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL