Nickel and Diming Your GAN: A Dual-Method Approach to Enhancing GAN Efficiency via Knowledge Distillation

要約

このペーパーでは、効率的な圧縮のための分散マッチング (DiME) と知識交換と学習によるネットワーク インタラクティブ圧縮 (NICKEL) という 2 つの新しい方法論を提案することにより、リソースに制約のある環境に展開するために敵対的生成ネットワーク (GAN) を圧縮するという課題に取り組みます。
DiME は、効率的な分布マッチングのための埋め込みカーネルとして基礎モデルを採用し、最大平均不一致を活用して効果的な知識の蒸留を促進します。
同時に、NICKEL はインタラクティブな圧縮方法を採用し、スチューデント ジェネレーターとディスクリミネーター間の通信を強化し、バランスの取れた安定した圧縮プロセスを実現します。
FFHQ データセットを使用した StyleGAN2 アーキテクチャに関する包括的な評価では、NICKEL と DiME がそれぞれ 95.73% と 98.92% の圧縮率で 10.45 と 15.93 の FID スコアを達成し、私たちのアプローチの有効性が示されています。
注目すべきことに、私たちの手法は 99.69% という極端な圧縮率でも生成品質を維持し、以前の最先端のパフォーマンスを大幅に上回っています。
これらの発見は、GAN の計算需要を大幅に削減する私たちの方法論の能力を実証するだけでなく、リソースが限られた環境で高品質の GAN モデルを展開する道を切り開くものでもあります。
私たちのコードは間もなくリリースされる予定です。

要約(オリジナル)

In this paper, we address the challenge of compressing generative adversarial networks (GANs) for deployment in resource-constrained environments by proposing two novel methodologies: Distribution Matching for Efficient compression (DiME) and Network Interactive Compression via Knowledge Exchange and Learning (NICKEL). DiME employs foundation models as embedding kernels for efficient distribution matching, leveraging maximum mean discrepancy to facilitate effective knowledge distillation. Simultaneously, NICKEL employs an interactive compression method that enhances the communication between the student generator and discriminator, achieving a balanced and stable compression process. Our comprehensive evaluation on the StyleGAN2 architecture with the FFHQ dataset shows the effectiveness of our approach, with NICKEL & DiME achieving FID scores of 10.45 and 15.93 at compression rates of 95.73% and 98.92%, respectively. Remarkably, our methods sustain generative quality even at an extreme compression rate of 99.69%, surpassing the previous state-of-the-art performance by a large margin. These findings not only demonstrate our methodologies’ capacity to significantly lower GANs’ computational demands but also pave the way for deploying high-quality GAN models in settings with limited resources. Our code will be released soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google