Finding Patterns in Ambiguity: Interpretable Stress Testing in the Decision~Boundary

要約

さまざまなドメインでディープラーニングの使用が増加していることにより、これらのブラックボックス モデルの意思決定プロセスを理解することの重要性が浮き彫りになっています。
深層分類器の決定境界に焦点を当てた最近の研究は、信頼性の低い領域で生成された合成インスタンスに依存しており、モデルと人間の両方に課題をもたらすサンプルを明らかにしています。
我々は、決定境界から代表的なサンプル (プロトタイプ) を選択し、ポストモデル説明アルゴリズムを適用することで、深層バイナリ分類器の解釈可能性を高める新しいアプローチを提案します。
2D 視覚化と GradientSHAP 分析を通じてアプローチの有効性を評価します。
私たちの実験は、提案された方法の可能性を実証し、信頼性の低い決定につながる重要な特徴を捕捉する、明確でコンパクトなクラスターと多様なプロトタイプを明らかにします。
深層分類器の決定境界をより集約したビューを提供することで、私たちの取り組みは、信頼性の高い機械学習システムの責任ある開発と展開に貢献します。

要約(オリジナル)

The increasing use of deep learning across various domains highlights the importance of understanding the decision-making processes of these black-box models. Recent research focusing on the decision boundaries of deep classifiers, relies on generated synthetic instances in areas of low confidence, uncovering samples that challenge both models and humans. We propose a novel approach to enhance the interpretability of deep binary classifiers by selecting representative samples from the decision boundary – prototypes – and applying post-model explanation algorithms. We evaluate the effectiveness of our approach through 2D visualizations and GradientSHAP analysis. Our experiments demonstrate the potential of the proposed method, revealing distinct and compact clusters and diverse prototypes that capture essential features that lead to low-confidence decisions. By offering a more aggregated view of deep classifiers’ decision boundaries, our work contributes to the responsible development and deployment of reliable machine learning systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google