Understanding the (Extra-)Ordinary: Validating Deep Model Decisions with Prototypical Concept-based Explanations

要約

医療などのリスクの高いアプリケーションにディープ ニューラル ネットワーク (DNN) を導入する場合、透明性と安全性の両方を確保することが重要です。
Explainable AI (XAI) の分野では、不透明な DNN の意思決定プロセスを理解するためのさまざまな方法が提案されています。
ただし、XAI 手法は繰り返しの労働集約的で偏った人間による評価に大きく依存しているため、実際に安全性を確保するのに適した XAI 手法はほとんどありません。
この研究では、プロトタイプを介して、インスタンス単位 (ローカル) だけでなく、クラス単位 (グローバル) の意思決定戦略も伝達する、新しいポストホック概念ベースの XAI フレームワークを紹介します。
私たちのアプローチを際立たせているのは、ローカル戦略とグローバル戦略の組み合わせであり、これにより、予想される（プロトタイプの）コンセプトの使用と比較して、モデルの決定における（相違）類似点をより明確に理解できるようになり、最終的に人間による長期的な評価への依存が軽減されます。
典型的な動作からの逸脱を定量化すると、予測を特定のモデルのサブ戦略に関連付けるだけでなく、外れ値の動作を検出することもできます。
そのため、私たちのアプローチは、モデル検証のための直感的で説明可能なツールを構成します。
VGG、ResNet、および EfficientNet アーキテクチャを利用して、3 つのデータセット (ImageNet、CUB-200、および CIFAR-10) にわたる配布範囲外のサンプル、偽モデルの動作、およびデータ品質の問題を特定する際のアプローチの有効性を実証します。
コードは https://github.com/maxdreyer/pcx で入手できます。

要約(オリジナル)

Ensuring both transparency and safety is critical when deploying Deep Neural Networks (DNNs) in high-risk applications, such as medicine. The field of explainable AI (XAI) has proposed various methods to comprehend the decision-making processes of opaque DNNs. However, only few XAI methods are suitable of ensuring safety in practice as they heavily rely on repeated labor-intensive and possibly biased human assessment. In this work, we present a novel post-hoc concept-based XAI framework that conveys besides instance-wise (local) also class-wise (global) decision-making strategies via prototypes. What sets our approach apart is the combination of local and global strategies, enabling a clearer understanding of the (dis-)similarities in model decisions compared to the expected (prototypical) concept use, ultimately reducing the dependence on human long-term assessment. Quantifying the deviation from prototypical behavior not only allows to associate predictions with specific model sub-strategies but also to detect outlier behavior. As such, our approach constitutes an intuitive and explainable tool for model validation. We demonstrate the effectiveness of our approach in identifying out-of-distribution samples, spurious model behavior and data quality issues across three datasets (ImageNet, CUB-200, and CIFAR-10) utilizing VGG, ResNet, and EfficientNet architectures. Code is available on https://github.com/maxdreyer/pcx.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google