Boosting Image Restoration via Priors from Pre-trained Models

要約

CLIP や安定拡散などの大規模なトレーニング データを使用して事前トレーニングされたモデルは、画像の理解や言語記述からの生成など、さまざまな高レベルのコンピューター ビジョン タスクで顕著なパフォーマンスを実証しました。
しかし、画像復元などの低レベルのタスクにおける可能性は、まだ比較的解明されていません。
この論文では、画像復元を強化するためのそのようなモデルを検討します。
事前トレーニングされたモデルからの既製の機能 (OSF) は画像復元に直接機能しないため、ターゲットの復元結果を調整するために Pre-Train-Guided Refinement Module (PTG-RM) と呼ばれる追加の軽量モジュールを学習することを提案します。
OSF を使用した復元ネットワーク。
PTG-RM は、Pre-Train-Guided Spatial-Varying Enhancement (PTG-SVE) と Pre-Train-Guided Channel-Spatial tention (PTG-CSA) の 2 つのコンポーネントで構成されます。
PTG-SVE は最適な短距離および長距離の神経操作を可能にし、PTG-CSA は復元関連の学習のための空間チャネルの注意を強化します。
広範な実験により、PTG-RM はそのコンパクトなサイズ (パラメータが 100 万ドル未満) であるため、低照度補正、ディレイニング、ブレ除去、ノイズ除去などのさまざまなタスクにわたってさまざまなモデルの復元パフォーマンスを効果的に向上させることが実証されています。

要約(オリジナル)

Pre-trained models with large-scale training data, such as CLIP and Stable Diffusion, have demonstrated remarkable performance in various high-level computer vision tasks such as image understanding and generation from language descriptions. Yet, their potential for low-level tasks such as image restoration remains relatively unexplored. In this paper, we explore such models to enhance image restoration. As off-the-shelf features (OSF) from pre-trained models do not directly serve image restoration, we propose to learn an additional lightweight module called Pre-Train-Guided Refinement Module (PTG-RM) to refine restoration results of a target restoration network with OSF. PTG-RM consists of two components, Pre-Train-Guided Spatial-Varying Enhancement (PTG-SVE), and Pre-Train-Guided Channel-Spatial Attention (PTG-CSA). PTG-SVE enables optimal short- and long-range neural operations, while PTG-CSA enhances spatial-channel attention for restoration-related learning. Extensive experiments demonstrate that PTG-RM, with its compact size ($<$1M parameters), effectively enhances restoration performance of various models across different tasks, including low-light enhancement, deraining, deblurring, and denoising.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google