Neural Degradation Representation Learning for All-In-One Image Restoration

要約

既存の方法は、単一の分解タイプに対して効果的なパフォーマンスを示しています。
ただし、実際のアプリケーションでは、劣化は不明なことが多く、モデルと劣化の間の不一致により、パフォーマンスが大幅に低下します。
この論文では、複数の劣化に対処するオールインワン画像復元ネットワークを提案します。
さまざまな種類の劣化が異質であるため、単一のネットワークで複数の劣化を処理することは困難です。
この目的を達成するために、さまざまな劣化の根本的な特性を捉えるニューラル劣化表現 (NDR) を学習することを提案します。
学習された NDR は、基本的な劣化コンポーネントを表すニューラル辞書と同様に、さまざまなタイプの劣化を適応的に分解します。
続いて、NDRに基づいて特定の劣化を効果的に認識して利用するための劣化クエリモジュールと劣化注入モジュールを開発し、複数の劣化に対するオールインワンの復元機能を可能にします。
さらに、劣化プロセスと回復プロセスを交互に最適化することで、NDR を効果的に駆動して劣化表現を学習させる双方向最適化戦略を提案します。
代表的な種類の劣化 (ノイズ、ヘイズ、雨、ダウンサンプリングなど) に関する包括的な実験により、私たちの手法の有効性と一般化能力が実証されています。

要約(オリジナル)

Existing methods have demonstrated effective performance on a single degradation type. In practical applications, however, the degradation is often unknown, and the mismatch between the model and the degradation will result in a severe performance drop. In this paper, we propose an all-in-one image restoration network that tackles multiple degradations. Due to the heterogeneous nature of different types of degradations, it is difficult to process multiple degradations in a single network. To this end, we propose to learn a neural degradation representation (NDR) that captures the underlying characteristics of various degradations. The learned NDR decomposes different types of degradations adaptively, similar to a neural dictionary that represents basic degradation components. Subsequently, we develop a degradation query module and a degradation injection module to effectively recognize and utilize the specific degradation based on NDR, enabling the all-in-one restoration ability for multiple degradations. Moreover, we propose a bidirectional optimization strategy to effectively drive NDR to learn the degradation representation by optimizing the degradation and restoration processes alternately. Comprehensive experiments on representative types of degradations (including noise, haze, rain, and downsampling) demonstrate the effectiveness and generalization capability of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google