Towards Bridging the Performance Gaps of Joint Energy-based Models

要約

単一のネットワーク内でハイブリッド識別生成モデルをトレーニングできますか?
この質問は最近肯定的に答えられ、高い分類精度と画像生成品質を同時に達成するジョイント エネルギー ベース モデル (JEM) の分野が導入されました。
最近の進歩にもかかわらず、2 つのパフォーマンス ギャップが残っています。標準のソフトマックス分類器との精度のギャップと、最先端の生成モデルとの生成品質のギャップです。
このホワイト ペーパーでは、JEM の精度のギャップと生成品質のギャップを埋めるためのさまざまなトレーニング手法を紹介します。
1) 最近提案されたシャープネス認識最小化 (SAM) フレームワークを組み込んで、JEM をトレーニングします。
2) JEM の最尤推定パイプラインからデータ拡張を除外し、画像生成品質に対するデータ拡張の悪影響を軽減します。
複数のデータセットでの広範な実験により、当社の SADA-JEM が最先端のパフォーマンスを達成し、画像分類、画像生成、キャリブレーション、分布外検出、敵対的ロバスト性において JEM を大幅に上回ることが実証されました。

要約(オリジナル)

Can we train a hybrid discriminative-generative model within a single network? This question has recently been answered in the affirmative, introducing the field of Joint Energy-based Model (JEM), which achieves high classification accuracy and image generation quality simultaneously. Despite recent advances, there remain two performance gaps: the accuracy gap to the standard softmax classifier, and the generation quality gap to state-of-the-art generative models. In this paper, we introduce a variety of training techniques to bridge the accuracy gap and the generation quality gap of JEM. 1) We incorporate a recently proposed sharpness-aware minimization (SAM) framework to train JEM, which promotes the energy landscape smoothness and the generalizability of JEM. 2) We exclude data augmentation from the maximum likelihood estimate pipeline of JEM, and mitigate the negative impact of data augmentation to image generation quality. Extensive experiments on multiple datasets demonstrate that our SADA-JEM achieves state-of-the-art performances and outperforms JEM in image classification, image generation, calibration, out-of-distribution detection and adversarial robustness by a notable margin.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google