XEQ Scale for Evaluating XAI Experience Quality

要約

説明可能な人工知能 (XAI) は、説明を通じて自律的な意思決定の透明性を向上させることを目的としています。
最近の文献では、総合的な「マルチショット」説明と XAI システムとの個別化された関与に対するユーザーのニーズが強調されています。
このユーザー中心のインタラクションを XAI エクスペリエンスと呼びます。
XAI エクスペリエンスの作成は進歩しているにもかかわらず、ユーザー中心の方法で XAI エクスペリエンスを評価することは依然として困難です。
これに応えて、XAI エクスペリエンス品質 (XEQ) スケールを開発しました。
XEQ は、学習、有用性、充実感、エンゲージメントの 4 つの側面にわたってエクスペリエンスの質を定量化します。
これらの貢献は、最先端の XAI 評価を拡張し、単発説明を評価するために頻繁に開発される 1 次元のメトリクスを超えています。
このペーパーでは、XAI 専門家によるコンテンツ検証、大規模なパイロット調査による判別式と構成式の検証を含む、XEQ スケールの開発と検証のプロセスについて説明します。
当社のパイロット調査結果は、XEQ スケールがユーザー中心の XAI エクスペリエンスを評価するための包括的なフレームワークとして確立される強力な証拠を提供します。

要約(オリジナル)

Explainable Artificial Intelligence (XAI) aims to improve the transparency of autonomous decision-making through explanations. Recent literature has emphasised users’ need for holistic ‘multi-shot’ explanations and personalised engagement with XAI systems. We refer to this user-centred interaction as an XAI Experience. Despite advances in creating XAI experiences, evaluating them in a user-centred manner has remained challenging. In response, we developed the XAI Experience Quality (XEQ) Scale. XEQ quantifies the quality of experiences across four dimensions: learning, utility, fulfilment and engagement. These contributions extend the state-of-the-art of XAI evaluation, moving beyond the one-dimensional metrics frequently developed to assess single-shot explanations. This paper presents the XEQ scale development and validation process, including content validation with XAI experts, and discriminant and construct validation through a large-scale pilot study. Our pilot study results offer strong evidence that establishes the XEQ Scale as a comprehensive framework for evaluating user-centred XAI experiences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google