Uncertainty-Aware Explanations Through Probabilistic Self-Explainable Neural Networks

要約

深いニューラルネットワークの透明性の欠如は、ハイステークスアプリケーションでの信頼性と使用を深刻に損なう制限であり続けています。
このような制限を克服する有望なアプローチは、プロトタイプベースの自己実験可能なニューラルネットワーク（PSENNS）です。その予測は、手元の入力と出力クラスのプロトタイプ表現のセットとの類似性に依存しているため、深い、しかし透明性を提供します。
– 設計、アーキテクチャ。
この論文では、Prob-Psennと呼ばれるPsennsの確率的再構成を紹介します。これは、プロトタイプの点推定値をその値に対する確率分布に置き換えます。
これは、プロトタイプのエンドツーエンドの学習のためのより柔軟なフレームワークを提供するだけでなく、モデルの説明的な不確実性をキャプチャすることもできます。これは、以前のアプローチでは欠落している機能です。
さらに、プロトタイプは説明と予測の両方を決定するため、prob-psennsにより、モデルが情報のない予測または不確実な予測をいつ作成しているかを検出し、それらの有効な説明を取得できます。
私たちの実験は、Prob-Psennsが非生産性のあるカウンターパートよりも有意義で堅牢な説明を提供しながら、予測パフォーマンスの観点から競争力を維持し、モデルの説明可能性と信頼性を高めることを示しています。

要約(オリジナル)

The lack of transparency of Deep Neural Networks continues to be a limitation that severely undermines their reliability and usage in high-stakes applications. Promising approaches to overcome such limitations are Prototype-Based Self-Explainable Neural Networks (PSENNs), whose predictions rely on the similarity between the input at hand and a set of prototypical representations of the output classes, offering therefore a deep, yet transparent-by-design, architecture. In this paper, we introduce a probabilistic reformulation of PSENNs, called Prob-PSENN, which replaces point estimates for the prototypes with probability distributions over their values. This provides not only a more flexible framework for an end-to-end learning of prototypes, but can also capture the explanatory uncertainty of the model, which is a missing feature in previous approaches. In addition, since the prototypes determine both the explanation and the prediction, Prob-PSENNs allow us to detect when the model is making uninformed or uncertain predictions, and to obtain valid explanations for them. Our experiments demonstrate that Prob-PSENNs provide more meaningful and robust explanations than their non-probabilistic counterparts, while remaining competitive in terms of predictive performance, thus enhancing the explainability and reliability of the models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google