Uncertainty-Aware Explanations Through Probabilistic Self-Explainable Neural Networks

要約

ディープ ニューラル ネットワークの透明性の欠如は、依然としてその信頼性と一か八かのアプリケーションでの使用を大きく損なう制限となっています。
このような制限を克服する有望なアプローチは、プロトタイプベースの自己説明可能ニューラル ネットワーク (PSENN) です。PSENN の予測は、手元の入力と出力クラスのプロトタイプ表現のセットとの間の類似性に依存しており、深い、しかも透過的なニューラル ネットワークを提供します。
-デザイン、建築。
これまでのところ、そのようなモデルは、プロトタイプの点ごとの推定を考慮して設計されており、モデルの学習段階後も固定されたままになっています。
この論文では、Prob-PSENN と呼ばれる PSENN の確率的再定式化を導入します。これは、プロトタイプの点推定値をその値の確率分布に置き換えます。
これにより、プロトタイプのエンドツーエンド学習のためのより柔軟なフレームワークが提供されるだけでなく、以前のアプローチには欠けていた機能であるモデルの説明の不確実性も取り込むことができます。
さらに、プロトタイプは説明と予測の両方を決定するため、Prob-PSENN を使用すると、モデルが情報に基づいていない予測や不確実な予測を行っていることを検出し、それらに対する有効な説明を得ることができます。
私たちの実験は、Prob-PSENN が非確率的な対応物よりも有意義で堅牢な説明を提供するため、モデルの説明可能性と信頼性が向上することを示しています。

要約(オリジナル)

The lack of transparency of Deep Neural Networks continues to be a limitation that severely undermines their reliability and usage in high-stakes applications. Promising approaches to overcome such limitations are Prototype-Based Self-Explainable Neural Networks (PSENNs), whose predictions rely on the similarity between the input at hand and a set of prototypical representations of the output classes, offering therefore a deep, yet transparent-by-design, architecture. So far, such models have been designed by considering pointwise estimates for the prototypes, which remain fixed after the learning phase of the model. In this paper, we introduce a probabilistic reformulation of PSENNs, called Prob-PSENN, which replaces point estimates for the prototypes with probability distributions over their values. This provides not only a more flexible framework for an end-to-end learning of prototypes, but can also capture the explanatory uncertainty of the model, which is a missing feature in previous approaches. In addition, since the prototypes determine both the explanation and the prediction, Prob-PSENNs allow us to detect when the model is making uninformed or uncertain predictions, and to obtain valid explanations for them. Our experiments demonstrate that Prob-PSENNs provide more meaningful and robust explanations than their non-probabilistic counterparts, thus enhancing the explainability and reliability of the models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google