Is Synthetic Data From Diffusion Models Ready for Knowledge Distillation?

要約

拡散モデルは最近、高忠実度の写真のようにリアルな画像を生成するという驚異的なパフォーマンスを達成しました。
大きな成功を収めているにもかかわらず、実際の画像が利用できない場合に合成画像が知識の蒸留に適用できるかどうかはまだ不明です。
この論文では、最先端の拡散モデルから生成された合成画像が、実際の画像にアクセスせずに知識の蒸留に使用できるかどうか、またその方法を広範囲に研究し、3 つの重要な結論を得ています。 (1) 拡散モデルからの合成データは、次の 3 つの重要な結論を得ています。
(2) 忠実度の低い合成画像はより優れた教材であり、(3) 比較的弱い分類器はより優れた教師である。
コードは https://github.com/zhengli97/DM-KD で入手できます。

要約(オリジナル)

Diffusion models have recently achieved astonishing performance in generating high-fidelity photo-realistic images. Given their huge success, it is still unclear whether synthetic images are applicable for knowledge distillation when real images are unavailable. In this paper, we extensively study whether and how synthetic images produced from state-of-the-art diffusion models can be used for knowledge distillation without access to real images, and obtain three key conclusions: (1) synthetic data from diffusion models can easily lead to state-of-the-art performance among existing synthesis-based distillation methods, (2) low-fidelity synthetic images are better teaching materials, and (3) relatively weak classifiers are better teachers. Code is available at https://github.com/zhengli97/DM-KD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google