BEExAI: Benchmark to Evaluate Explainable AI

要約

説明可能性に関する最近の研究により、ブラックボックス機械学習モデルの出力の理解を高めることを目的とした多数の事後帰属手法が生み出されました。
しかし、説明の質の評価には、説明可能性の事後帰属手法の有効性を評価する定量的指標を導き出すための一貫したアプローチと方法論に関するコンセンサスが欠けています。
さらに、多様なデータ アプリケーション向けにますます複雑な深層学習モデルが開発されるにつれ、説明の品質と正確さを測定する信頼性の高い方法の必要性が重要になってきています。
私たちは、選択した評価指標のセットを使用して、さまざまなポストホック XAI 手法の大規模な比較を可能にするベンチマーク ツール BEExAI を提案することで、この問題に対処します。

要約(オリジナル)

Recent research in explainability has given rise to numerous post-hoc attribution methods aimed at enhancing our comprehension of the outputs of black-box machine learning models. However, evaluating the quality of explanations lacks a cohesive approach and a consensus on the methodology for deriving quantitative metrics that gauge the efficacy of explainability post-hoc attribution methods. Furthermore, with the development of increasingly complex deep learning models for diverse data applications, the need for a reliable way of measuring the quality and correctness of explanations is becoming critical. We address this by proposing BEExAI, a benchmark tool that allows large-scale comparison of different post-hoc XAI methods, employing a set of selected evaluation metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google