Variational Classification

要約

ニューラル ネットワークのソフトマックス分類器の新しい確率的解釈を提供する分類用の潜在変数モデルを提示します。
変分オートエンコーダーのトレーニングに使用される証拠下限 (ELBO) に似た、ソフトマックスのクロスエントロピー損失を一般化する、モデルをトレーニングするための変分目的を導出します。
ソフトマックス層への入力を潜在変数のサンプルとして扱うことで、私たちの抽象化された視点は、正確なラベル予測に必要な予測分布と実際に見られる経験的分布との間の潜在的な不一致を明らかにします。
標準のソフトマックス層に見られる暗黙的な仮定の代わりに、変分目的を拡張してそのような矛盾を軽減し、選択された潜在分布を誘導します。
全体として、私たちは広く使用されているソフトマックス分類器の内部動作についての新しい理論的洞察を提供します。
画像およびテキスト分類データセットの経験的評価は、私たちが提案するアプローチである変分分類が分類精度を維持しながら、再形成された潜在空間が、キャリブレーション、敵対的ロバスト性、分布シフトに対するロバスト性、および低環境で役立つサンプル効率などの分類器の他の望ましい特性を向上させることを示しています。
データ設定。

要約(オリジナル)

We present a latent variable model for classification that provides a novel probabilistic interpretation of neural network softmax classifiers. We derive a variational objective to train the model, analogous to the evidence lower bound (ELBO) used to train variational auto-encoders, that generalises the softmax cross-entropy loss. Treating inputs to the softmax layer as samples of a latent variable, our abstracted perspective reveals a potential inconsistency between their anticipated distribution, required for accurate label predictions, and their empirical distribution found in practice. We augment the variational objective to mitigate such inconsistency and induce a chosen latent distribution, instead of the implicit assumption found in a standard softmax layer. Overall, we provide new theoretical insight into the inner workings of widely-used softmax classifiers. Empirical evaluation on image and text classification datasets demonstrates that our proposed approach, variational classification, maintains classification accuracy while the reshaped latent space improves other desirable properties of a classifier, such as calibration, adversarial robustness, robustness to distribution shift and sample efficiency useful in low data settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google