Density-Softmax: Scalable and Calibrated Uncertainty Estimation under Distribution Shifts

要約

一般的な決定論的な深層学習モデルは、分布の変化の下で重大な過信に悩まされます。
確率論的なアプローチはこの問題を軽減できますが、計算効率に問題があります。
この論文では、密度関数とソフトマックス層の組み合わせによって校正された不確実性推定を改善する高速かつ軽量の決定論的手法である密度ソフトマックスを提案します。
潜在表現の尤度値を使用することにより、テスト サンプルがトレーニング サンプルから離れている場合、私たちのアプローチはより不確実な予測を生成します。
理論的には、Density-Softmax はミニマックス不確実性リスクの解決策であり、距離を認識するため、標準ソフトマックスの過信を軽減するため、ニューラル ネットワークを使用して高品質な不確実性推定を生成できることを示します。
経験的に、私たちの方法は、最新の深層学習アーキテクチャ全体で、シフトされたおもちゃ、視覚、および言語のデータセットに対して標準ソフトマックスを使用した単一のフォワードパス決定論と同様の計算効率を享受します。
特に、Density-Softmax は、ディープ アンサンブルよりも 4 倍少ないパラメーターを使用し、ランク 1 ベイジアン ニューラル ネットワークよりも 6 倍低いレイテンシを使用しながら、分散シフト下で競争力のある予測パフォーマンスとより低いキャリブレーション エラーを実現します。

要約(オリジナル)

Prevalent deterministic deep-learning models suffer from significant over-confidence under distribution shifts. Probabilistic approaches can reduce this problem but struggle with computational efficiency. In this paper, we propose Density-Softmax, a fast and lightweight deterministic method to improve calibrated uncertainty estimation via a combination of density function with the softmax layer. By using the latent representation’s likelihood value, our approach produces more uncertain predictions when test samples are distant from the training samples. Theoretically, we show that Density-Softmax can produce high-quality uncertainty estimation with neural networks, as it is the solution of minimax uncertainty risk and is distance-aware, thus reducing the over-confidence of the standard softmax. Empirically, our method enjoys similar computational efficiency as a single forward pass deterministic with standard softmax on the shifted toy, vision, and language datasets across modern deep-learning architectures. Notably, Density-Softmax uses 4 times fewer parameters than Deep Ensembles and 6 times lower latency than Rank-1 Bayesian Neural Network, while obtaining competitive predictive performance and lower calibration errors under distribution shifts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google