Information-Theoretic GAN Compression with Variational Energy-based Model

要約

エネルギーベースのモデルに基づく変分最適化を介して、教師と生徒のネットワーク間の相互情報を最大化することを目的とした、敵対的生成ネットワークの圧縮のための情報理論的知識蒸留アプローチを提案します。
連続ドメインでの相互情報の直接計算は扱いにくいため、代わりに、私たちのアプローチは、相互情報の変分下限を最大化することによってスチューデント ネットワークを最適化します。
厳密な下限を達成するために、ディープ ニューラル ネットワークに依存するエネルギーベースのモデルを導入して、高次元の画像を処理し、ピクセル間の空間依存性を効果的に考慮する柔軟な変分分布を表します。
提案された方法は一般的な最適化アルゴリズムであるため、任意の敵対的生成ネットワークや、画像強調モデルなどの密な予測ネットワークにも簡単に組み込むことができます。
提案されたアルゴリズムが、いくつかの既存のモデルと組み合わせた場合、生成的敵対ネットワークのモデル圧縮において一貫して優れたパフォーマンスを達成することを示します。

要約(オリジナル)

We propose an information-theoretic knowledge distillation approach for the compression of generative adversarial networks, which aims to maximize the mutual information between teacher and student networks via a variational optimization based on an energy-based model. Because the direct computation of the mutual information in continuous domains is intractable, our approach alternatively optimizes the student network by maximizing the variational lower bound of the mutual information. To achieve a tight lower bound, we introduce an energy-based model relying on a deep neural network to represent a flexible variational distribution that deals with high-dimensional images and consider spatial dependencies between pixels, effectively. Since the proposed method is a generic optimization algorithm, it can be conveniently incorporated into arbitrary generative adversarial networks and even dense prediction networks, e.g., image enhancement models. We demonstrate that the proposed algorithm achieves outstanding performance in model compression of generative adversarial networks consistently when combined with several existing models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google