The Meta-Evaluation Problem in Explainable AI: Identifying Reliable Estimators with MetaQuantus

要約

説明可能な AI (XAI) は急速に進化している分野であり、人間に対する AI システムの透明性と信頼性を向上させることを目的としています。
XAI の未解決の課題の 1 つは、ニューラル ネットワークのこれらの説明方法のパフォーマンスを推定することです。その結果、どれが優先されるかを示す指標がほとんどまたはまったくない多数の競合する指標が生まれました。
このホワイト ペーパーでは、特定の説明可能性のコンテキストで最も信頼性の高い評価方法を特定するために、MetaQuantus を提案します。MetaQuantus は、評価方法の 2 つの補完的なパフォーマンス特性である、ノイズに対する回復力とランダム性に対する反応性をメタ評価するシンプルかつ強力なフレームワークです。
説明方法の選択や特定のメトリクスのハイパーパラメーターの最適化など、XAI のさまざまな未解決の問題を対象とした一連の実験を通じて、フレームワークの有効性を実証します。
XAI 研究者と機械学習 (ML) 実践者が新しく構築されたメトリクス (つまり、説明品質の「推定量」) を検証およびベンチマークするための開発ツールとして機能するオープンソース ライセンスの下で作業をリリースします。
この作業により、信頼できる評価方法を構築するための明確で理論に基づいたガイダンスを提供し、XAI の分野での標準化と再現性を促進します。

要約(オリジナル)

Explainable AI (XAI) is a rapidly evolving field that aims to improve transparency and trustworthiness of AI systems to humans. One of the unsolved challenges in XAI is estimating the performance of these explanation methods for neural networks, which has resulted in numerous competing metrics with little to no indication of which one is to be preferred. In this paper, to identify the most reliable evaluation method in a given explainability context, we propose MetaQuantus — a simple yet powerful framework that meta-evaluates two complementary performance characteristics of an evaluation method: its resilience to noise and reactivity to randomness. We demonstrate the effectiveness of our framework through a series of experiments, targeting various open questions in XAI, such as the selection of explanation methods and optimisation of hyperparameters of a given metric. We release our work under an open-source license to serve as a development tool for XAI researchers and Machine Learning (ML) practitioners to verify and benchmark newly constructed metrics (i.e., “estimators” of explanation quality). With this work, we provide clear and theoretically-grounded guidance for building reliable evaluation methods, thus facilitating standardisation and reproducibility in the field of XAI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google