EGC: Image Generation and Classification via a Diffusion Energy-Based Model

要約

タイトル：EGC：拡散エネルギーベースモデルを用いた画像生成と分類

要約：
– 画像分類と画像生成を1つのネットワークパラメータで実現することは困難であり、良好な性能を示したモデルは、他方のタスクにおいて性能が低下しがちです。
– 本研究では、EGCと呼ばれるエネルギーベースの分類器とジェネレータを紹介し、同じニューラルネットワークを使用して、両方のタスクにおいて優れた性能を発揮できるようにしています。
– 伝統的な分類器が画像からラベルを出力するのに対して（すなわち、条件付き分布$p(y|\mathbf{x})$）、EGCの順伝搬は、画像とラベルの合同分布$p(\mathbf{x},y)$を出力する分類器であり、ラベル$y$を周辺化することで画像ジェネレータを逆伝搬で実現することができます。
– これは、ノイズが含まれる画像に対して、順方向のパスでエネルギーと分類確率を推定し、逆方向のパスで推定されたスコア関数を使用して、ノイズを除去することによって行われます。
– EGCは、ImageNet-1k、CelebA-HQ、およびLSUN Churchにおいて最先端の手法と競合する生成結果を達成しながら、CIFAR-10において優れた分類精度と敵対的攻撃に対する頑健性を発揮します。
– 本研究は、同じネットワークパラメータを使用して、両方のタスクにおいて優れた性能を発揮する初めての成功例であり、EGCは分類的学習と生成的学習のギャップを埋めるものと信じられています。

要約(オリジナル)

Learning image classification and image generation using the same set of network parameters is a challenging problem. Recent advanced approaches perform well in one task often exhibit poor performance in the other. This work introduces an energy-based classifier and generator, namely EGC, which can achieve superior performance in both tasks using a single neural network. Unlike a conventional classifier that outputs a label given an image (i.e., a conditional distribution $p(y|\mathbf{x})$), the forward pass in EGC is a classifier that outputs a joint distribution $p(\mathbf{x},y)$, enabling an image generator in its backward pass by marginalizing out the label $y$. This is done by estimating the energy and classification probability given a noisy image in the forward pass, while denoising it using the score function estimated in the backward pass. EGC achieves competitive generation results compared with state-of-the-art approaches on ImageNet-1k, CelebA-HQ and LSUN Church, while achieving superior classification accuracy and robustness against adversarial attacks on CIFAR-10. This work represents the first successful attempt to simultaneously excel in both tasks using a single set of network parameters. We believe that EGC bridges the gap between discriminative and generative learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI