What’s meant by explainable model: A Scoping Review

要約

人工知能 (AI) に基づくアプリケーションを説明する論文のタイトルで、「説明可能」という用語がよく見られます。
ただし、説明可能な人工知能 (XAI) に関する文献によると、XAI での説明はアプリケーションおよびドメインに固有であるため、特定のアプリケーションの問題に対する意思決定を行うモデルを説明するために使用される場合は常に評価が必要です。
さらに、文献は、ポストホック手法、特に特徴帰属手法のパフォーマンスが大幅に異なることを明らかにしており、AI の説明可能性に対する解決策ではないことを示唆しています。
したがって、XAI メソッドを使用する場合は、その情報出力の品質と適合性を特定のアプリケーション内で評価する必要があります。
これらの理由から、私たちはスコーピングレビュー手法を使用して AI モデルを適用する論文を調査し、そのモデルを説明可能であると参照しながら事後説明を生成する方法を採用しました。
この論文では、説明可能なモデルという用語が、ポストホック XAI 手法を組み込むことでモデルを説明可能なものとして特徴付けるのに十分であるという仮定の下で著者によって採用されているかどうかを調査します。
この問題を検証するために、私たちのレビューでは、これらの論文が評価を行ったかどうかを分析します。
説明可能なモデルとしてアプローチに言及している出願書類の 81% は、使用した XAI 手法についていかなる形式の評価も行っていないことがわかりました。

要約(オリジナル)

We often see the term explainable in the titles of papers that describe applications based on artificial intelligence (AI). However, the literature in explainable artificial intelligence (XAI) indicates that explanations in XAI are application- and domain-specific, hence requiring evaluation whenever they are employed to explain a model that makes decisions for a specific application problem. Additionally, the literature reveals that the performance of post-hoc methods, particularly feature attribution methods, varies substantially hinting that they do not represent a solution to AI explainability. Therefore, when using XAI methods, the quality and suitability of their information outputs should be evaluated within the specific application. For these reasons, we used a scoping review methodology to investigate papers that apply AI models and adopt methods to generate post-hoc explanations while referring to said models as explainable. This paper investigates whether the term explainable model is adopted by authors under the assumption that incorporating a post-hoc XAI method suffices to characterize a model as explainable. To inspect this problem, our review analyzes whether these papers conducted evaluations. We found that 81% of the application papers that refer to their approaches as an explainable model do not conduct any form of evaluation on the XAI method they used.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google