Variational Classification

要約

我々は、変分分類（VC）と呼ばれる、クロスエントロピー損失で訓練されたニューラルネットワークソフトマックス分類の潜在変数汎化を発表する。我々のアプローチは、非常に馴染み深いソフトマックス分類モデルに新しい確率論的視点を提供するものであり、変分分類と従来のオートエンコーダの関係に類似している。我々は、最適化することが自明でない、エビデンス下界（ELBO）に基づく学習目的を導出し、それを最大化する敵対的アプローチを提案する。我々は、VCがソフトマックス分類に内在する矛盾に対処する一方、既製のソフトマックス分類器に見られる暗黙の仮定の代わりに、潜在空間における事前分布をより柔軟に選択できることを示す。画像とテキストの分類データセットを用いた実証的評価により、変分分類が予測精度を維持する一方で、特に分布シフトや低データ設定下において、校正や敵対的頑健性といった他の望ましい特性を改善することが実証された。

要約(オリジナル)

We present a latent variable generalisation of neural network softmax classification trained with cross-entropy loss, referred to as variational classification (VC). Our approach offers a novel probabilistic perspective on the highly familiar softmax classification model, to which it relates similarly to how variational and traditional autoencoders relate. We derive a training objective based on the evidence lower bound (ELBO) that is non-trivial to optimize, and therefore propose an adversarial approach to maximise it. We show that VC addresses an inherent inconsistency within softmax classification, whilst also allowing more flexible choices of prior distributions in the latent space in place of implicit assumptions revealed within off-the-shelf softmax classifiers. Empirical evaluation on image and text classification datasets demonstrates that variational classification maintains prediction accuracy while improving other desirable properties such as calibration and adversarial robustness, particularly under distribution shift and low data settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL