Improving Explainability of Softmax Classifiers Using a Prototype-Based Joint Embedding Method

要約

我々は、プロトタイプの確率的サンプリングを通じて生成される理解可能な予測信頼度を提供し、分布外検出 (OOD) の可能性を実証する、ソフトマックス分類器の説明可能性を向上させるためのプロトタイプベースのアプローチを提案します。
モデル アーキテクチャとトレーニングを変更して、トレーニング データセットのクラス サンプルのセットとの類似性を使用して予測を行うことで、予測に寄与したプロトタイプのサンプルをサンプリングする機能が得られ、モデルの決定についてインスタンス ベースの説明が提供されます。
さらに、モデルの潜在空間内の相対距離を通じてトレーニング データセットからの画像間の関係を学習することで、ソフトマックスの信頼度よりも分布外のデータを検出できる不確実性のメトリクスを取得します。

要約(オリジナル)

We propose a prototype-based approach for improving explainability of softmax classifiers that provides an understandable prediction confidence, generated through stochastic sampling of prototypes, and demonstrates potential for out of distribution detection (OOD). By modifying the model architecture and training to make predictions using similarities to any set of class examples from the training dataset, we acquire the ability to sample for prototypical examples that contributed to the prediction, which provide an instance-based explanation for the model’s decision. Furthermore, by learning relationships between images from the training dataset through relative distances within the model’s latent space, we obtain a metric for uncertainty that is better able to detect out of distribution data than softmax confidence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google