DKDM: Data-Free Knowledge Distillation for Diffusion Models with Any Architecture

要約

拡散モデル（DMS）は、画像、ビデオなど、さまざまなドメインにわたって並外れた生成機能を実証しています。
それらの有効性に貢献する重要な要因は、トレーニング中に使用されるデータの大量と品質です。
ただし、主流のDMSは、ますます大量のデータを消費するようになりました。
たとえば、安定した拡散モデルのトレーニングには、数十億の画像テキストペアが必要です。
この膨大なデータ要件は、高いデータ収集コストとストレージ費用のために、大規模なDMをトレーニングするために大きな課題をもたらします。
このデータの負担を軽減するために、新しいシナリオを提案します。既存のDMSをデータソースとして使用して、あらゆるアーキテクチャで新しいDMSをトレーニングします。
このシナリオは、DMSの生成能力がデータのない方法で新しいものに転送される拡散モデル（DKDM）のデータフリーナレッジ蒸留と呼びます。
この課題に取り組むために、2つの主な貢献をします。
まず、データへのアクセスを必要とせずに、蒸留を介して新しいDMのトレーニングを可能にするDKDM目標を導入します。
第二に、既存のDMSから時間領域の知識を効率的に抽出する動的な反復蒸留方法を開発し、長期にわたる生成プロセスを必要とせずにトレーニングデータの直接検索を可能にします。
私たちの知る限り、私たちはこのシナリオを最初に探求しました。
実験結果は、データフリーのアプローチが競争力のある生成パフォーマンスを達成するだけでなく、場合によっては、データセット全体でトレーニングされたモデルよりも優れていることを示しています。

要約(オリジナル)

Diffusion models (DMs) have demonstrated exceptional generative capabilities across various domains, including image, video, and so on. A key factor contributing to their effectiveness is the high quantity and quality of data used during training. However, mainstream DMs now consume increasingly large amounts of data. For example, training a Stable Diffusion model requires billions of image-text pairs. This enormous data requirement poses significant challenges for training large DMs due to high data acquisition costs and storage expenses. To alleviate this data burden, we propose a novel scenario: using existing DMs as data sources to train new DMs with any architecture. We refer to this scenario as Data-Free Knowledge Distillation for Diffusion Models (DKDM), where the generative ability of DMs is transferred to new ones in a data-free manner. To tackle this challenge, we make two main contributions. First, we introduce a DKDM objective that enables the training of new DMs via distillation, without requiring access to the data. Second, we develop a dynamic iterative distillation method that efficiently extracts time-domain knowledge from existing DMs, enabling direct retrieval of training data without the need for a prolonged generative process. To the best of our knowledge, we are the first to explore this scenario. Experimental results demonstrate that our data-free approach not only achieves competitive generative performance but also, in some instances, outperforms models trained with the entire dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google