Your Student is Better Than Expected: Adaptive Teacher-Student Collaboration for Text-Conditional Diffusion Models

要約

知識蒸留法は、わずかな推論ステップで大規模拡散モデルの合成を高速化する有望な方法であることが最近示されている。最近、いくつかの強力な知識抽出法が提案されたが、生徒のサンプルの全体的な質は、一般的に教師のものに比べて低く、実用的な使用を妨げている。本研究では、教師用テキストから画像への拡散モデルと、その蒸留された生徒用モデルによって生成されるサンプルの相対的な品質を調査する。我々の主な経験的知見として、生徒のサンプルの顕著な部分が、生徒の「近似的な」性質にもかかわらず、教師のものと比較して優れた忠実度を示すことを発見する。この発見に基づき、効果的なテキストから画像への合成のために、生徒と教師の拡散モデル間の適応的な協調を提案する。具体的には、蒸留されたモデルが初期サンプルを生成し、その後、オラクルが、遅い教師モデルとの更なる改良が必要かどうかを決定する。広範な実験により、設計されたパイプラインは、人間の嗜好の観点から、様々な推論バジェットにおいて、最先端のテキストから画像への代替案を凌駕することが実証される。さらに、提案アプローチは、テキストガイド付き画像編集や制御可能な生成などの一般的なアプリケーションで自然に利用できる。

要約(オリジナル)

Knowledge distillation methods have recently shown to be a promising direction to speedup the synthesis of large-scale diffusion models by requiring only a few inference steps. While several powerful distillation methods were recently proposed, the overall quality of student samples is typically lower compared to the teacher ones, which hinders their practical usage. In this work, we investigate the relative quality of samples produced by the teacher text-to-image diffusion model and its distilled student version. As our main empirical finding, we discover that a noticeable portion of student samples exhibit superior fidelity compared to the teacher ones, despite the ‘approximate’ nature of the student. Based on this finding, we propose an adaptive collaboration between student and teacher diffusion models for effective text-to-image synthesis. Specifically, the distilled model produces the initial sample, and then an oracle decides whether it needs further improvements with a slow teacher model. Extensive experiments demonstrate that the designed pipeline surpasses state-of-the-art text-to-image alternatives for various inference budgets in terms of human preference. Furthermore, the proposed approach can be naturally used in popular applications such as text-guided image editing and controllable generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL