Variational Classification

要約

ニューラル ネットワークのソフトマックス分類器の新しい確率的解釈を提供する分類用の潜在変数モデルを提示します。
変分オートエンコーダーのトレーニングに使用される証拠下限 (ELBO) に似た、モデルをトレーニングするための変分目的を導出します。これは、分類モデルのトレーニングに使用されるクロスエントロピー損失を一般化します。
ソフトマックス層への入力を潜在変数のサンプルとして扱うことで、私たちの抽象化された視点は、正確なラベル予測を出力するために必要な予測分布と、実際に見られる経験的分布との間の潜在的な不一致を明らかにします。
既製のソフトマックス分類器の暗黙の仮定の代わりに、変分目的を拡張してそのような矛盾を緩和し、潜在分布の選択を促進します。
全体として、私たちは広く使用されているソフトマックス分類の内部動作についての新しい理論的洞察を提供します。
画像およびテキスト分類データセットの経験的評価は、私たちが提案するアプローチである変分分類が分類精度を維持しながら、再形成された潜在空間が、キャリブレーション、敵対的ロバスト性、分布シフトに対するロバスト性、および低環境で役立つサンプル効率などの分類器の他の望ましい特性を向上させることを示しています。
データ設定。

要約(オリジナル)

We present a latent variable model for classification that provides a novel probabilistic interpretation of neural network softmax classifiers. We derive a variational objective to train the model, analogous to the evidence lower bound (ELBO) used to train variational auto-encoders, that generalises the cross-entropy loss used to train classification models. Treating inputs to the softmax layer as samples of a latent variable, our abstracted perspective reveals a potential inconsistency between their anticipated distribution, required for accurate label predictions to be output, and the empirical distribution found in practice. We augment the variational objective to mitigate such inconsistency and encourage a chosen latent distribution, instead of the implicit assumption in off-the-shelf softmax classifiers. Overall, we provide new theoretical insight into the inner workings of widely-used softmax classification. Empirical evaluation on image and text classification datasets demonstrates that our proposed approach, variational classification, maintains classification accuracy while the reshaped latent space improves other desirable properties of a classifier, such as calibration, adversarial robustness, robustness to distribution shift and sample efficiency useful in low data settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google