Multi-task Image Restoration Guided By Robust DINO Features

要約

マルチタスクの画像復元は、シングルタスクの対応物と比較して、その固有の多用途性と効率性により、大きな関心を集めています。
その可能性にもかかわらず、タスク数の増加に伴ってパフォーマンスの低下が観察されますが、これは主に各復元タスクの異なる性質に起因します。
この課題に対処するために、DINOv2 から抽出された堅牢な機能を活用した新しいマルチタスク画像復元アプローチである \mbox{\textbf{DINO-IR}} を導入します。
私たちの経験的分析により、DINOv2 の浅い特徴は豊富な低レベル画像特徴を捕捉する一方で、深い特徴は高周波輪郭の詳細を維持しながら、劣化の影響を受けない堅牢なセマンティック表現を保証することが示されています。
これらの機能に基づいて、DINOv2 機能を復元パラダイムに統合するために、多層セマンティック融合モジュール、DINO-Restore 適応および融合モジュール、DINO 知覚コントラスト損失などの特殊なコンポーネントを考案します。
上記のコンポーネントを備えた当社の DINO-IR は、さまざまなタスクにおいて既存のマルチタスク画像復元アプローチに対して大幅に有利に機能し、マルチタスク画像復元に対する堅牢な機能を強化する優位性と必要性​​を示しています。

要約(オリジナル)

Multi-task image restoration has gained significant interest due to its inherent versatility and efficiency compared to its single-task counterpart. Despite its potential, performance degradation is observed with an increase in the number of tasks, primarily attributed to the distinct nature of each restoration task. Addressing this challenge, we introduce \mbox{\textbf{DINO-IR}}, a novel multi-task image restoration approach leveraging robust features extracted from DINOv2. Our empirical analysis shows that while shallow features of DINOv2 capture rich low-level image characteristics, the deep features ensure a robust semantic representation insensitive to degradations while preserving high-frequency contour details. Building on these features, we devise specialized components, including multi-layer semantic fusion module, DINO-Restore adaption and fusion module, and DINO perception contrastive loss, to integrate DINOv2 features into the restoration paradigm. Equipped with the aforementioned components, our DINO-IR performs favorably against existing multi-task image restoration approaches in various tasks by a large margin, indicating the superiority and necessity of reinforcing the robust features for multi-task image restoration.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google