Variational Classification

要約

ニューラル ネットワークのソフトマックス分類器の新しい確率的解釈を提供する分類用の潜在変数モデルを提示します。
変分オートエンコーダーのトレーニングに使用される証拠下限 (ELBO) に似た、モデルをトレーニングするための変分目的を導出します。これは、分類モデルのトレーニングに使用されるクロスエントロピー損失を一般化します。
ソフトマックス層への入力を潜在変数のサンプルとして扱うことで、私たちの抽象化された観点から、正確なラベル予測に必要な予測分布と、実際に従う経験的分布との間の潜在的な不一致が明らかになります。
次に、そのような不一致を軽減し、既製のソフトマックス分類器の暗黙の仮定の代わりに、指定された潜在分布を促進する変分目標を考案します。
全体として、私たちは広く使用されているソフトマックス分類の内部動作についての新しい理論的洞察を提供します。
画像およびテキスト分類データセットの経験的評価は、私たちが提案する解決策である変分分類が分類精度を維持しながら、再形成された潜在空間がキャリブレーション、敵対的堅牢性、分布シフトに対する堅牢性、低データで役立つサンプル効率などの他の望ましい分類子の特性を向上させることを示しています。
設定。

要約(オリジナル)

We present a latent variable model for classification that provides a novel probabilistic interpretation of neural network softmax classifiers. We derive a variational objective to train the model, analogous to the evidence lower bound (ELBO) used to train variational auto-encoders, that generalises the cross-entropy loss used to train classification models. Treating inputs to the softmax layer as samples of a latent variable, our abstracted perspective reveals a potential inconsistency between their anticipated distribution, required for accurate label predictions, and the empirical distribution they follow in practice. We then devise a variational objective to mitigate such inconsistency and encourage a specified latent distribution, instead of the implicit assumption in off-the-shelf softmax classifiers. Overall, we provide new theoretical insight into the inner workings of widely-used softmax classification; and empirical evaluation on image and text classification datasets demonstrates that our proposed remedy, variational classification, maintains classification accuracy while the reshaped latent space improves other desirable classifier properties, such as calibration, adversarial robustness, robustness to distribution shift and sample efficiency useful in low data settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google