Compressing Image-to-Image Translation GANs Using Local Density Structures on Their Learned Manifold

要約

Generative Adversarial Networks (GAN) は、画像から画像への変換のための複雑なデータ分布のモデル化において目覚ましい成功を収めています。
それでも、高いコンピューティング要求があるため、エッジ デバイスのような実際的なシナリオでの展開は不可能です。
既存の GAN 圧縮方法は、主に知識の蒸留または畳み込み分類器の枝刈り技術に依存しています。
したがって、彼らは GAN の重要な特性、つまり学習された多様体上の局所密度構造を無視しています。
したがって、我々は、学習された多様体上で元のパラメータの多いモデルの密度構造を保存するように枝刈りされたモデルを明示的に奨励することにより、新しい観点から GAN 圧縮にアプローチします。
元のジェネレーターの学習された多様体を、その生成されたサンプルの周囲の局所的な近傍に分割することで、枝刈りモデルのこの目的を促進します。
次に、カーネル密度推定法に似た、各近傍にわたる局所密度構造を保存するために枝刈りモデルを正規化する新しい枝刈り目標を提案します。
また、弁別器と生成器が 2 つの枝刈りエージェントによって枝刈りされる協調枝刈りスキームを開発します。
対応するモデルのアーキテクチャを決定する際に、エージェントのフィードバックを交換することで、ジェネレーターとディスクリミネーターの間の相互作用をキャプチャするエージェントを設計します。
このような設計のおかげで、私たちの枝刈り方法は、パフォーマンスの高いサブネットワークを効率的に見つけることができ、枝刈り中にベースラインと比較してジェネレータと弁別器の間のバランスをより効果的に維持することができ、それによってより安定した枝刈りダイナミクスを示すことができます。
さまざまなベンチマーク データセットとアーキテクチャを使用した画像変換 GAN モデル、Pix2Pix および CycleGAN での実験により、私たちの方法の有効性が実証されました。

要約(オリジナル)

Generative Adversarial Networks (GANs) have shown remarkable success in modeling complex data distributions for image-to-image translation. Still, their high computational demands prohibit their deployment in practical scenarios like edge devices. Existing GAN compression methods mainly rely on knowledge distillation or convolutional classifiers’ pruning techniques. Thus, they neglect the critical characteristic of GANs: their local density structure over their learned manifold. Accordingly, we approach GAN compression from a new perspective by explicitly encouraging the pruned model to preserve the density structure of the original parameter-heavy model on its learned manifold. We facilitate this objective for the pruned model by partitioning the learned manifold of the original generator into local neighborhoods around its generated samples. Then, we propose a novel pruning objective to regularize the pruned model to preserve the local density structure over each neighborhood, resembling the kernel density estimation method. Also, we develop a collaborative pruning scheme in which the discriminator and generator are pruned by two pruning agents. We design the agents to capture interactions between the generator and discriminator by exchanging their peer’s feedback when determining corresponding models’ architectures. Thanks to such a design, our pruning method can efficiently find performant sub-networks and can maintain the balance between the generator and discriminator more effectively compared to baselines during pruning, thereby showing more stable pruning dynamics. Our experiments on image translation GAN models, Pix2Pix and CycleGAN, with various benchmark datasets and architectures demonstrate our method’s effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google