Your Student is Better Than Expected: Adaptive Teacher-Student Collaboration for Text-Conditional Diffusion Models

要約

知識蒸留法は、わずかな推論ステップのみを必要とすることで大規模な拡散モデルの合成を高速化する有望な方向性であることが最近示されました。
最近、いくつかの強力な蒸留方法が提案されましたが、生徒のサンプルの全体的な品質は教師のサンプルに比べて一般的に低く、実際の使用が妨げられています。
この研究では、教師のテキストから画像への拡散モデルとその抽出された生徒バージョンによって生成されたサンプルの相対的な品質を調査します。
私たちの主な経験的発見として、生徒の「おおよその」性質にもかかわらず、生徒のサンプルの顕著な部分が教師のサンプルと比較して優れた忠実度を示していることがわかりました。
この発見に基づいて、効果的なテキストから画像への合成のための生徒と教師の拡散モデル間の適応的なコラボレーションを提案します。
具体的には、蒸留されたモデルによって初期サンプルが生成され、その後、オラクルは、遅い教師モデルを使用してさらに改善する必要があるかどうかを判断します。
広範な実験により、設計されたパイプラインが人間の好みの観点から、さまざまな推論予算に対して最先端のテキストから画像への代替手段を上回っていることが実証されています。
さらに、提案されたアプローチは、テキストガイドによる画像編集や制御可能な生成などの一般的なアプリケーションでも自然に使用できます。

要約(オリジナル)

Knowledge distillation methods have recently shown to be a promising direction to speedup the synthesis of large-scale diffusion models by requiring only a few inference steps. While several powerful distillation methods were recently proposed, the overall quality of student samples is typically lower compared to the teacher ones, which hinders their practical usage. In this work, we investigate the relative quality of samples produced by the teacher text-to-image diffusion model and its distilled student version. As our main empirical finding, we discover that a noticeable portion of student samples exhibit superior fidelity compared to the teacher ones, despite the “approximate” nature of the student. Based on this finding, we propose an adaptive collaboration between student and teacher diffusion models for effective text-to-image synthesis. Specifically, the distilled model produces the initial sample, and then an oracle decides whether it needs further improvements with a slow teacher model. Extensive experiments demonstrate that the designed pipeline surpasses state-of-the-art text-to-image alternatives for various inference budgets in terms of human preference. Furthermore, the proposed approach can be naturally used in popular applications such as text-guided image editing and controllable generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google