How much informative is your XAI? A decision-making assessment task to objectively measure the goodness of explanations

要約

説明可能な人工知能 (XAI) 分野におけるユーザー中心のアプローチの有効性については、コンセンサスが高まっています。
実際、XAI に対するパーソナライズされたユーザー中心のアプローチの数と複雑さは近年急速に増加しています。
多くの場合、これらの研究には 2 つの目的があります: (1) ユーザーを考慮できる新しい XAI 技術を提案すること、(2) 他の技術と比較してそのような技術の \textit{良さ} を評価すること。
これらの新しい取り組みから、XAI に対するユーザー中心のアプローチがユーザーとシステム間の対話にプラスの影響を与えることが明らかになりました。
ただし、これまでのところ、XAI システムの良さはパフォーマンスなどの間接的な尺度によって評価されてきました。
この論文では、XAI システムの良さを \textit{情報力} の観点から客観的かつ定量的に測定する評価タスクを提案します。これは、インタラクション中にシステムがユーザーに提供する情報量として意図したものです。
さらに、人間とロボットの意思決定タスクで 2 つの XAI 手法を客観的に比較するタスクを使用して、ユーザー中心のアプローチが従来のアプローチよりも有益であるかどうかをより深く理解する予定です。

要約(オリジナル)

There is an increasing consensus about the effectiveness of user-centred approaches in the explainable artificial intelligence (XAI) field. Indeed, the number and complexity of personalised and user-centred approaches to XAI have rapidly grown in recent years. Often, these works have a two-fold objective: (1) proposing novel XAI techniques able to consider the users and (2) assessing the \textit{goodness} of such techniques with respect to others. From these new works, it emerged that user-centred approaches to XAI positively affect the interaction between users and systems. However, so far, the goodness of XAI systems has been measured through indirect measures, such as performance. In this paper, we propose an assessment task to objectively and quantitatively measure the goodness of XAI systems in terms of their \textit{information power}, which we intended as the amount of information the system provides to the users during the interaction. Moreover, we plan to use our task to objectively compare two XAI techniques in a human-robot decision-making task to understand deeper whether user-centred approaches are more informative than classical ones.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google