Exploring Content Relationships for Distilling Efficient GANs

要約

このホワイトペーパーでは、最先端のデバイスでの有用性のために、過度にパラメータ化された敵対的生成ネットワーク (GAN) に取り組むための内容関係蒸留 (CRD) を提案します。
従来のインスタンス レベルの蒸留とは対照的に、教師の出力の内容を行/列ストリップ (グローバル情報) や画像パッチ (ローカル情報) などの複数の細かい粒度にスライスすることにより、新しい GAN 圧縮指向の知識を設計し、モデリング
ペアごとの距離やトリプレットごとの角度など、それらの間の関係を確認し、学生がこれらの関係を出力コンテンツ内に取り込むように促します。
提案されたコンテンツレベルの蒸留に基づいて構築された、オンライン教師弁別器も展開します。これは、教師ジェネレーターと共同トレーニングされると更新を続け、学生ジェネレーターと共同トレーニングされるとフリーズし続け、敵対的なトレーニングを改善します。
3 つのベンチマーク データセットで大規模な実験を行い、その結果、既存の方法と比較して最高のパフォーマンスを得ながら、CRD が GAN で最も複雑さを軽減できることが示されました。
たとえば、CycleGAN の MAC を約 40 分の 1 に減らし、パラメータを 80 分の 1 以上に減らします。一方、現在の最先端技術の 51.92 と比較して、46.61 の FID が得られます。
このプロジェクトのコードは、https://github.com/TheKernelZ/CRD で入手できます。

要約(オリジナル)

This paper proposes a content relationship distillation (CRD) to tackle the over-parameterized generative adversarial networks (GANs) for the serviceability in cutting-edge devices. In contrast to traditional instance-level distillation, we design a novel GAN compression oriented knowledge by slicing the contents of teacher outputs into multiple fine-grained granularities, such as row/column strips (global information) and image patches (local information), modeling the relationships among them, such as pairwise distance and triplet-wise angle, and encouraging the student to capture these relationships within its output contents. Built upon our proposed content-level distillation, we also deploy an online teacher discriminator, which keeps updating when co-trained with the teacher generator and keeps freezing when co-trained with the student generator for better adversarial training. We perform extensive experiments on three benchmark datasets, the results of which show that our CRD reaches the most complexity reduction on GANs while obtaining the best performance in comparison with existing methods. For example, we reduce MACs of CycleGAN by around 40x and parameters by over 80x, meanwhile, 46.61 FIDs are obtained compared with these of 51.92 for the current state-of-the-art. Code of this project is available at https://github.com/TheKernelZ/CRD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google