AdaIR: Exploiting Underlying Similarities of Image Restoration Tasks with Adapters

要約

既存の画像復元アプローチは通常、指定された劣化に対して特別に訓練された広範なネットワークを使用します。
このような方法は効果的ではありますが、タスク固有のネットワークに依存するため、必然的にかなりのストレージ コストと計算オーバーヘッドが発生します。
この研究では、この確立されたフレームワークを超えて、画像復元タスク間の固有の共通点を活用します。
主な目的は、復元タスク全体で共有可能なコンポーネントを特定し、個々のタスク用に特別にトレーニングされたモジュールで共有コンポーネントを強化することです。
この目標に向けて、私たちは、パフォーマンスを犠牲にすることなく、低ストレージコストと効率的なトレーニングを可能にする新しいフレームワークである AdaIR を提案します。
具体的には、まず、合成劣化を使用した自己教師付き事前トレーニングを通じて、一般的な復元ネットワークが構築されます。
事前トレーニング フェーズに続いて、事前トレーニングされたネットワークを特定の劣化に適応させるためにアダプターがトレーニングされます。
AdaIR では、軽量のタスク固有モジュールのトレーニングのみが必要であり、より効率的なストレージとトレーニング計画が保証されます。
私たちは、AdaIR の有効性を検証し、共有可能なコンポーネントの発見に対する事前トレーニング戦略の影響を分析するために広範な実験を実施しました。
広範な実験結果は、AdaIR が各復元タスクで大幅に少ないパラメータ (1.9 MB) と短いトレーニング時間 (7 時間) を使用しながら、マルチタスク復元で優れた結果を達成することを示しています。
ソースコードとトレーニング済みモデルは公開されます。

要約(オリジナル)

Existing image restoration approaches typically employ extensive networks specifically trained for designated degradations. Despite being effective, such methods inevitably entail considerable storage costs and computational overheads due to the reliance on task-specific networks. In this work, we go beyond this well-established framework and exploit the inherent commonalities among image restoration tasks. The primary objective is to identify components that are shareable across restoration tasks and augment the shared components with modules specifically trained for individual tasks. Towards this goal, we propose AdaIR, a novel framework that enables low storage cost and efficient training without sacrificing performance. Specifically, a generic restoration network is first constructed through self-supervised pre-training using synthetic degradations. Subsequent to the pre-training phase, adapters are trained to adapt the pre-trained network to specific degradations. AdaIR requires solely the training of lightweight, task-specific modules, ensuring a more efficient storage and training regimen. We have conducted extensive experiments to validate the effectiveness of AdaIR and analyze the influence of the pre-training strategy on discovering shareable components. Extensive experimental results show that AdaIR achieves outstanding results on multi-task restoration while utilizing significantly fewer parameters (1.9 MB) and less training time (7 hours) for each restoration task. The source codes and trained models will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google