Invisible Users: Uncovering End-Users’ Requirements for Explainable AI via Explanation Forms and Goals

要約

技術に詳しくないエンド ユーザーは、最先端の説明可能な人工知能 (XAI) テクノロジの静かで目に見えないユーザーです。
AI の説明可能性に対する彼らの要求と要件は、XAI 技術の設計と評価に組み込まれていません。XAI 技術は、AI の決定の論理的根拠をエンド ユーザーに説明し、重要な決定を支援するために開発されています。
これにより、XAI 技術は、ヘルスケア、刑事司法、金融、自動運転システムなどのリスクの高いアプリケーションでは効果がなく、有害でさえあります。
XAI の技術開発をサポートするためのエンド ユーザーの要件を体系的に理解するために、AI 支援の 4 つの重要なタスクに 32 人の素人参加者を対象に EUCA ユーザー調査を実施しました。
この調査では、機能ベース、例ベース、およびルールベースの XAI 手法 (エンド ユーザーにわかりやすい説明フォームによって明示される) と XAI 評価の目的 (説明の目標によって明示される) に対する包括的なユーザー要件が特定されました。
新しい XAI アルゴリズムと評価指標の提案に直接影響を与えます。
EUCA の研究結果、特定された説明形式と技術仕様の目標、および EUCA 研究データセットは、アクセス可能で安全で説明責任のある AI のためのエンドユーザー中心の XAI 技術の設計と評価をサポートします。

要約(オリジナル)

Non-technical end-users are silent and invisible users of the state-of-the-art explainable artificial intelligence (XAI) technologies. Their demands and requirements for AI explainability are not incorporated into the design and evaluation of XAI techniques, which are developed to explain the rationales of AI decisions to end-users and assist their critical decisions. This makes XAI techniques ineffective or even harmful in high-stakes applications, such as healthcare, criminal justice, finance, and autonomous driving systems. To systematically understand end-users’ requirements to support the technical development of XAI, we conducted the EUCA user study with 32 layperson participants in four AI-assisted critical tasks. The study identified comprehensive user requirements for feature-, example-, and rule-based XAI techniques (manifested by the end-user-friendly explanation forms) and XAI evaluation objectives (manifested by the explanation goals), which were shown to be helpful to directly inspire the proposal of new XAI algorithms and evaluation metrics. The EUCA study findings, the identified explanation forms and goals for technical specification, and the EUCA study dataset support the design and evaluation of end-user-centered XAI techniques for accessible, safe, and accountable AI.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google