Diagnosing AI Explanation Methods with Folk Concepts of Behavior

要約

AI の説明が成功するための条件の形式を調べます。
「成功」は、説明に含まれる情報だけでなく、人間の被説明者がそこからどのような情報を理解するかに依存すると考えています。
心の理論の文献では、人間が行動を理解し、一般化するために使用する民間の概念について説明しています。
私たちは、行動の民間概念が、人間が行動を理解するための「言語」を提供すると仮定します。
私たちはこれらの民俗概念を、人間の被説明者 (人間が説明から理解する可能性が高い情報構造) による *社会的帰属* のフレームワークとして使用します。
構成します。
次に、今日の多くの XAI メソッドが、定性的な評価において一般的な行動の概念にマッピングできることを示します。
これにより、現在の方法ではうまく説明できない障害モードを明らかにすることができます。つまり、特定の XAI メソッドに欠落している情報構造であり、それらを含めることで AI の動作を誤解する可能性を減らすことができます。

要約(オリジナル)

We investigate a formalism for the conditions of a successful explanation of AI. We consider ‘success’ to depend not only on what information the explanation contains, but also on what information the human explainee understands from it. Theory of mind literature discusses the folk concepts that humans use to understand and generalize behavior. We posit that folk concepts of behavior provide us with a ‘language’ that humans understand behavior with. We use these folk concepts as a framework of *social attribution* by the human explainee — the information constructs that humans are likely to comprehend from explanations — by introducing a blueprint for an explanatory narrative (Figure 1) that explains AI behavior with these constructs. We then demonstrate that many XAI methods today can be mapped to folk concepts of behavior in a qualitative evaluation. This allows us to uncover their failure modes that prevent current methods from explaining successfully — i.e., the information constructs that are missing for any given XAI method, and whose inclusion can decrease the likelihood of misunderstanding AI behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google