Data-free Distillation with Degradation-prompt Diffusion for Multi-weather Image Restoration

要約

複数の気象画像の復元は驚くべき進歩を遂げていますが、モデル容量の増加と高価なデータ取得により、メモリが限られたデバイスでの応用が損なわれています。
データフリー蒸留は、元のトレーニング データに依存せずに、事前トレーニングされた教師モデルから軽量の学生モデルを学習できるようにする代替手段を提供します。
既存のデータフリー学習手法は主に、GANによって生成された擬似データやインターネットから収集された実際のデータを使用してモデルを最適化します。
ただし、元のデータでのトレーニングが不安定になったり、ドメインが移動したりするという問題が避けられません。
この論文では、複数の天候に対応した画像復元 (D4IR) のための、劣化促進拡散を伴う新しいデータフリー蒸留フレームワークを提案します。
GAN を事前トレーニングされた拡散モデルに置き換えてモデルの崩壊を回避し、ドメイン関連の画像を生成するためのコンテンツ主導型の条件付き拡散を容易にする劣化を認識するプロンプト アダプターを組み込みます。
具体的には、コントラスト ベースの劣化プロンプト アダプターは、まず、Web で収集された劣化画像から劣化を認識するプロンプトをキャプチャするように設計されています。
次に、収集された対になっていないきれいな画像は、安定拡散の潜在的な特徴によって摂動され、知識の蒸留のために新しいドメイン関連の劣化画像を合成するための劣化を意識したプロンプトで条件付けされます。
実験では、私たちの提案が元のトレーニング データで抽出されたモデルと同等のパフォーマンスを達成し、他の主流の教師なし手法よりも優れていることが示されています。

要約(オリジナル)

Multi-weather image restoration has witnessed incredible progress, while the increasing model capacity and expensive data acquisition impair its applications in memory-limited devices. Data-free distillation provides an alternative for allowing to learn a lightweight student model from a pre-trained teacher model without relying on the original training data. The existing data-free learning methods mainly optimize the models with the pseudo data generated by GANs or the real data collected from the Internet. However, they inevitably suffer from the problems of unstable training or domain shifts with the original data. In this paper, we propose a novel Data-free Distillation with Degradation-prompt Diffusion framework for multi-weather Image Restoration (D4IR). It replaces GANs with pre-trained diffusion models to avoid model collapse and incorporates a degradation-aware prompt adapter to facilitate content-driven conditional diffusion for generating domain-related images. Specifically, a contrast-based degradation prompt adapter is firstly designed to capture degradation-aware prompts from web-collected degraded images. Then, the collected unpaired clean images are perturbed to latent features of stable diffusion, and conditioned with the degradation-aware prompts to synthesize new domain-related degraded images for knowledge distillation. Experiments illustrate that our proposal achieves comparable performance to the model distilled with original training data, and is even superior to other mainstream unsupervised methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google