Mind the Gap in Distilling StyleGANs

要約

StyleGAN ファミリーは、無条件生成で最も人気のある Generative Adversarial Networks (GAN) の 1 つです。
その印象的なパフォーマンスにもかかわらず、ストレージとコンピューティングに対する高い需要が、リソースに制約のあるデバイスへの展開を妨げています。
このホワイト ペーパーでは、人気のある StyleGAN のようなアーキテクチャから抽出するための包括的な研究を提供します。
私たちの重要な洞察は、StyleGAN蒸留の主な課題は、同じ入力潜在コードが与えられた場合、教師と生徒のモデルが異なる出力を生成する出力の不一致の問題にあるということです。
標準的な知識の蒸留損失は、通常、この不均一な蒸留シナリオでは失敗します。
この不一致の問題の理由と影響について徹底的な分析を行い、生成された画像のセマンティック情報を決定する上でマッピング ネットワークが重要な役割を果たしていることを確認します。
この発見に基づいて、学生モデルの新しい初期化戦略を提案します。これにより、出力の一貫性を最大限に確保できます。
教師モデルと生徒モデルの間の意味の一貫性をさらに強化するために、潜在空間の意味関係を保持する潜在方向ベースの蒸留損失を提示します。
広範な実験により、StyleGAN2およびStyleGAN3の蒸留における当社のアプローチの有効性が実証され、既存のGAN蒸留方法よりも大幅に優れています。

要約(オリジナル)

StyleGAN family is one of the most popular Generative Adversarial Networks (GANs) for unconditional generation. Despite its impressive performance, its high demand on storage and computation impedes their deployment on resource-constrained devices. This paper provides a comprehensive study of distilling from the popular StyleGAN-like architecture. Our key insight is that the main challenge of StyleGAN distillation lies in the output discrepancy issue, where the teacher and student model yield different outputs given the same input latent code. Standard knowledge distillation losses typically fail under this heterogeneous distillation scenario. We conduct thorough analysis about the reasons and effects of this discrepancy issue, and identify that the mapping network plays a vital role in determining semantic information of generated images. Based on this finding, we propose a novel initialization strategy for the student model, which can ensure the output consistency to the maximum extent. To further enhance the semantic consistency between the teacher and student model, we present a latent-direction-based distillation loss that preserves the semantic relations in latent space. Extensive experiments demonstrate the effectiveness of our approach in distilling StyleGAN2 and StyleGAN3, outperforming existing GAN distillation methods by a large margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google