AdaIR: Adaptive All-in-One Image Restoration via Frequency Mining and Modulation

要約

画像取得プロセスでは、ノイズ、かすみ、雨などのさまざまな形の劣化が頻繁に発生します。
これらの劣化は通常、カメラの固有の制限や不利な周囲条件によって発生します。
劣化したバージョンからクリーンなイメージを回復するために、特定の種類の劣化を対象とした、多数の特殊な復元方法が開発されています。
最近、入力劣化タイプの事前情報を必要とせずに、単一モデル内のさまざまなタイプの劣化に対処するオールインワン アルゴリズムが大きな注目を集めています。
ただし、これらの方法は純粋に空間領域で動作し、さまざまな劣化タイプに固有の明確な周波数変動を掘り下げません。
このギャップに対処するために、周波数マイニングと変調に基づいた適応型オールインワン画像復元ネットワークを提案します。
私たちのアプローチは、さまざまな劣化タイプがさまざまな周波数サブバンドの画像コンテンツに影響を与えるため、修復タスクごとに異なる処理が必要になるという観察に基づいています。
具体的には、まず、劣化画像の適応的に分離されたスペクトルに基づいて、入力特徴から低周波情報と高周波情報をマイニングします。
次に、抽出された特徴は双方向演算子によって変調され、異なる周波数成分間の相互作用が促進されます。
最後に、変調された特徴は元の入力にマージされ、段階的にガイドされる修復が行われます。
このアプローチでは、モデルは、さまざまな入力劣化に応じて情報を提供する周波数サブバンドを強調することにより、適応的な再構成を実現します。
広範な実験により、提案された方法がノイズ除去、かすみ除去、ディレイニング、動きのぼけ除去、低照度画像強調などのさまざまな画像復元タスクで最先端のパフォーマンスを達成できることが実証されています。
私たちのコードは https://github.com/c-yn/AdaIR で入手できます。

要約(オリジナル)

In the image acquisition process, various forms of degradation, including noise, haze, and rain, are frequently introduced. These degradations typically arise from the inherent limitations of cameras or unfavorable ambient conditions. To recover clean images from degraded versions, numerous specialized restoration methods have been developed, each targeting a specific type of degradation. Recently, all-in-one algorithms have garnered significant attention by addressing different types of degradations within a single model without requiring prior information of the input degradation type. However, these methods purely operate in the spatial domain and do not delve into the distinct frequency variations inherent to different degradation types. To address this gap, we propose an adaptive all-in-one image restoration network based on frequency mining and modulation. Our approach is motivated by the observation that different degradation types impact the image content on different frequency subbands, thereby requiring different treatments for each restoration task. Specifically, we first mine low- and high-frequency information from the input features, guided by the adaptively decoupled spectra of the degraded image. The extracted features are then modulated by a bidirectional operator to facilitate interactions between different frequency components. Finally, the modulated features are merged into the original input for a progressively guided restoration. With this approach, the model achieves adaptive reconstruction by accentuating the informative frequency subbands according to different input degradations. Extensive experiments demonstrate that the proposed method achieves state-of-the-art performance on different image restoration tasks, including denoising, dehazing, deraining, motion deblurring, and low-light image enhancement. Our code is available at https://github.com/c-yn/AdaIR.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google