Solving the enigma: Enhancing faithfulness and comprehensibility in explanations of deep networks

要約

人工知能（AI）の加速進行は、さまざまなドメインで深い学習モデルを普及させていますが、特にヘルスケア、医学、地球科学などの重要な分野では、その固有の不透明度が課題をもたらします。
説明可能なAI（XAI）がこれらの「ブラックボックス」モデルに光を当てるために現れ、意思決定プロセスを解読することを支援しています。
ただし、XaIメソッドが異なることが多い場合、多くの場合、かなり異なる説明が生成され、不確実性を高め、深いネットワークの予測に対する信頼を損なう高いメソッド間変動性が高くなります。
この研究では、説明の精度と包括性の両方を最大化することに二重に焦点を当てることにより、深いネットワークの説明可能性を高めるために設計された新しいフレームワークを導入することにより、この課題に対処します。
当社のフレームワークは、複数の確立されたXAIメソッドからの出力を統合し、「説明オプティマイザー」と呼ばれる非線形ニューラルネットワークモデルをレバレッジして、統一された最適な説明を構築します。
Optimizerは、2つの重要なメトリックを使用して説明を評価します：忠実さ（ネットワークの決定を反映する正確さ）と複雑さ（妥当性）。
これらのバランスをとることにより、正確でアクセスしやすい説明を提供し、重要なXaiの制限に対処します。
2Dオブジェクトと3Dニューロサイエンスイメージングのマルチクラスおよびバイナリ分類の実験は、その有効性を確認します。
オプティマイザーは、それぞれ3Dタスクと2Dタスクで最高のXaiメソッドよりも155％および63％高く忠実なスコアを達成しましたが、より良い理解のために複雑さを減らしました。
これらの結果は、特定の品質基準に基づいた最適な説明が達成可能であり、現在のXAI文献におけるメソッド間変動の問題の解決策を提供し、より信頼できるディープネットワーク予測をサポートすることを示しています。

要約(オリジナル)

The accelerated progress of artificial intelligence (AI) has popularized deep learning models across various domains, yet their inherent opacity poses challenges, particularly in critical fields like healthcare, medicine, and the geosciences. Explainable AI (XAI) has emerged to shed light on these ‘black box’ models, aiding in deciphering their decision-making processes. However, different XAI methods often produce significantly different explanations, leading to high inter-method variability that increases uncertainty and undermines trust in deep networks’ predictions. In this study, we address this challenge by introducing a novel framework designed to enhance the explainability of deep networks through a dual focus on maximizing both accuracy and comprehensibility in the explanations. Our framework integrates outputs from multiple established XAI methods and leverages a non-linear neural network model, termed the ‘explanation optimizer,’ to construct a unified, optimal explanation. The optimizer evaluates explanations using two key metrics: faithfulness (accuracy in reflecting the network’s decisions) and complexity (comprehensibility). By balancing these, it provides accurate and accessible explanations, addressing a key XAI limitation. Experiments on multi-class and binary classification in 2D object and 3D neuroscience imaging confirm its efficacy. Our optimizer achieved faithfulness scores 155% and 63% higher than the best XAI methods in 3D and 2D tasks, respectively, while also reducing complexity for better understanding. These results demonstrate that optimal explanations based on specific quality criteria are achievable, offering a solution to the issue of inter-method variability in the current XAI literature and supporting more trustworthy deep network predictions

arxiv情報

提供元, 利用サービス

arxiv.jp, Google