Adaptive Blind All-in-One Image Restoration

要約

ブラインドオールインワン画像復元モデルは、未知の歪みで劣化した入力から高品質の画像を復元することを目的としています。
ただし、これらのモデルでは、トレーニング段階で考えられるすべての劣化タイプを定義する必要がある一方で、目に見えない劣化に対する限られた一般化を示すため、複雑なケースでの実際の適用が制限されます。
この論文では、シンプルだが効果的な適応ブラインド オールインワン復元 (ABAIR) モデルを提案します。このモデルは、複数の劣化に対処し、目に見えない劣化によく一般化し、パラメータの一部をトレーニングすることで新しい劣化を効率的に組み込むことができます。
まず、複数の合成劣化を含む自然画像の大規模なデータセットでベースライン モデルをトレーニングし、ピクセルごとの劣化タイプを推定するセグメンテーション ヘッドで強化します。その結果、広範囲の劣化に一般化できる強力なバックボーンが得られます。
次に、独立した低ランク アダプターを使用して、ベースライン モデルをさまざまな画像復元タスクに適応させます。
3 番目に、柔軟で軽量な劣化推定器を介して、アダプターを多用途の画像に適応的に組み合わせる方法を学びます。
私たちのモデルは、特定の歪みを処理する強力さと、複雑なタスクに適応する柔軟性の両方を備えています。5 タスクおよび 3 タスクの IR セットアップで最先端のモデルを大幅に上回るだけでなく、目に見えないものに対する一般化の向上も示しています。
劣化と複合的な歪みも発生します。

要約(オリジナル)

Blind all-in-one image restoration models aim to recover a high-quality image from an input degraded with unknown distortions. However, these models require all the possible degradation types to be defined during the training stage while showing limited generalization to unseen degradations, which limits their practical application in complex cases. In this paper, we propose a simple but effective adaptive blind all-in-one restoration (ABAIR) model, which can address multiple degradations, generalizes well to unseen degradations, and efficiently incorporate new degradations by training a small fraction of parameters. First, we train our baseline model on a large dataset of natural images with multiple synthetic degradations, augmented with a segmentation head to estimate per-pixel degradation types, resulting in a powerful backbone able to generalize to a wide range of degradations. Second, we adapt our baseline model to varying image restoration tasks using independent low-rank adapters. Third, we learn to adaptively combine adapters to versatile images via a flexible and lightweight degradation estimator. Our model is both powerful in handling specific distortions and flexible in adapting to complex tasks, it not only outperforms the state-of-the-art by a large margin on five- and three-task IR setups, but also shows improved generalization to unseen degradations and also composite distortions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google