EGC: Image Generation and Classification via a Single Energy-Based Model

要約

タイトル：EGC：単一のエネルギーベースモデルによる画像生成と分類

要約：

– 画像の分類と生成両方を同じネットワークパラメータを使用して学習することは困難である。
– 最近の高度な手法は、一方のタスクで優れた性能を発揮する一方、他方のタスクでは性能が低いことがしばしばある。
– EGCは、単一のニューラルネットワークを使用して両方のタスクで優れた性能を発揮することができるエネルギーベースの分類器とジェネレータである。
– EGCは、通常の分類器が画像に対してラベルを出力するのに対し、ジョイント分布$ p (\mathbf {x}、y） $を出力する分類器である。このため、ラベル$ y $をマージナライズすることにより、後方パスで画像ジェネレータを実現できる。
– EGCは、前方パスでノイズのある画像に対してエネルギーと分類確率を推定し、後方パスで推定されたスコア関数を使用してノイズを取り除くことにより、画像を生成する。
– EGCは、ImageNet-1k、CelebA-HQ、LSUN Churchで最先端の手法と競合する画像生成結果を実現し、CIFAR-10で優れた分類精度と対抗的攻撃に対する頑強性を発揮する。
– EGCは、単一のネットワークパラメータで両方のタスクを同時に優れた結果を発揮する初めての試みであり、EGCが識別的学習と生成的学習のギャップを埋めると考えている。

要約(オリジナル)

Learning image classification and image generation using the same set of network parameters is a challenging problem. Recent advanced approaches perform well in one task often exhibit poor performance in the other. This work introduces an energy-based classifier and generator, namely EGC, which can achieve superior performance in both tasks using a single neural network. Unlike a conventional classifier that outputs a label given an image (i.e., a conditional distribution $p(y|\mathbf{x})$), the forward pass in EGC is a classifier that outputs a joint distribution $p(\mathbf{x},y)$, enabling an image generator in its backward pass by marginalizing out the label $y$. This is done by estimating the energy and classification probability given a noisy image in the forward pass, while denoising it using the score function estimated in the backward pass. EGC achieves competitive generation results compared with state-of-the-art approaches on ImageNet-1k, CelebA-HQ and LSUN Church, while achieving superior classification accuracy and robustness against adversarial attacks on CIFAR-10. This work represents the first successful attempt to simultaneously excel in both tasks using a single set of network parameters. We believe that EGC bridges the gap between discriminative and generative learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI