Distinction Maximization Loss: Efficiently Improving Uncertainty Estimation and Out-of-Distribution Detection by Simply Replacing the Loss and Calibrating

要約

堅牢な決定論的ニューラルネットワークを構築することは、依然として課題です。
一方では、いくつかのアプローチは、いくつかの状況で分類精度を低下させるという犠牲を払って、分布外検出を改善します。
一方、一部の方法では、推論の効率が低下する代わりに、分類の精度、不確実性の推定、および分布外の検出が同時に向上します。
この論文では、DisMax損失を使用して決定論的ニューラルネットワークをトレーニングすることを提案します。これは、通常のSoftMax損失（つまり、線形出力層、SoftMaxアクティベーション、およびクロスエントロピー損失の組み合わせ）のドロップイン置換として機能します。
。
IsoMax +の損失から始めて、正しいクラスに関連付けられているものだけでなく、すべてのプロトタイプまでの距離に基づいて各ロジットを作成します。
また、画像を組み合わせて、分数確率正則化と呼ばれるものを構築するメカニズムを紹介します。
さらに、トレーニング後にネットワークを調整するための高速な方法を紹介します。
最後に、分布外検出を実行するための複合スコアを提案します。
私たちの実験は、DisMaxは通常、決定論的なニューラルネットワークの推論効率を維持しながら、分類の精度、不確実性の推定、および分布外の検出において、現在のアプローチよりも優れていることを示しています。
結果を再現するためのコードは、https：//github.com/dlmacedo/distinction-maximization-lossで入手できます。

要約(オリジナル)

Building robust deterministic neural networks remains a challenge. On the one hand, some approaches improve out-of-distribution detection at the cost of reducing classification accuracy in some situations. On the other hand, some methods simultaneously increase classification accuracy, uncertainty estimation, and out-of-distribution detection at the expense of reducing the inference efficiency. In this paper, we propose training deterministic neural networks using our DisMax loss, which works as a drop-in replacement for the usual SoftMax loss (i.e., the combination of the linear output layer, the SoftMax activation, and the cross-entropy loss). Starting from the IsoMax+ loss, we create each logit based on the distances to all prototypes, rather than just the one associated with the correct class. We also introduce a mechanism to combine images to construct what we call fractional probability regularization. Moreover, we present a fast way to calibrate the network after training. Finally, we propose a composite score to perform out-of-distribution detection. Our experiments show that DisMax usually outperforms current approaches simultaneously in classification accuracy, uncertainty estimation, and out-of-distribution detection while maintaining deterministic neural network inference efficiency. The code to reproduce the results is available at https://github.com/dlmacedo/distinction-maximization-loss.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google