Gaussian Latent Representations for Uncertainty Estimation using Mahalanobis Distance in Deep Classifiers

要約

最近の研究では、ネットワークの潜在空間内のデータ分布が、分類の不確実性を推定し、分布外 (OOD) サンプルを検出するのに役立つことが示されています。
不確実性の推定に役立つ、適切に規則化された潜在空間を取得するために、既存の手法ではモデル アーキテクチャとトレーニング手順に大幅な変更が加えられています。
この論文では、ネットワークのアーキテクチャへの変更を最小限に抑える、マハラノビス距離ベースの不確実性予測のための軽量、高速、高性能の正則化方法を紹介します。
マハラノビス距離計算に有利なガウス潜在表現を導出するために、クラス内表現を複数のガウスに分離する自己教師あり表現学習手法を導入します。
非ガウス表現を持つクラスは自動的に識別され、ほぼガウス表現である複数の新しいクラスに動的にクラスタ化されます。
標準的な OOD ベンチマークでの評価では、私たちの方法が最小限の推論時間で OOD 検出に関して最先端の結果を達成し、予測確率の校正において非常に競争力があることが示されています。
最後に、微生物分類に関する実際のコンピューター ビジョンの使用例へのこの方法の適用可能性を示します。

要約(オリジナル)

Recent works show that the data distribution in a network’s latent space is useful for estimating classification uncertainty and detecting Out-of-distribution (OOD) samples. To obtain a well-regularized latent space that is conducive for uncertainty estimation, existing methods bring in significant changes to model architectures and training procedures. In this paper, we present a lightweight, fast, and high-performance regularization method for Mahalanobis distance-based uncertainty prediction, and that requires minimal changes to the network’s architecture. To derive Gaussian latent representation favourable for Mahalanobis Distance calculation, we introduce a self-supervised representation learning method that separates in-class representations into multiple Gaussians. Classes with non-Gaussian representations are automatically identified and dynamically clustered into multiple new classes that are approximately Gaussian. Evaluation on standard OOD benchmarks shows that our method achieves state-of-the-art results on OOD detection with minimal inference time, and is very competitive on predictive probability calibration. Finally, we show the applicability of our method to a real-life computer vision use case on microorganism classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google