What Does Evaluation of Explainable Artificial Intelligence Actually Tell Us? A Case for Compositional and Contextual Validation of XAI Building Blocks

要約

大きな進歩にもかかわらず、説明可能な人工知能の評価は依然としてとらえどころがなく、困難です。
この論文では、これらの社会技術システムのどの側面にも過度に依存せず、それらの固有のモジュール構造、つまり技術的な構成要素、ユーザー向けの説明成果物、およびソーシャル コミュニケーション プロトコルを認識する、きめの細かい検証フレームワークを提案します。
ユーザー調査は、特定の導入状況における被説明者の視点から説明のプレゼンテーションと配信戦略の品質と有効性を評価する上で非常に貴重であることに同意しますが、基礎となる説明生成メカニズムには、技術的および重要な要素を考慮した、主にアルゴリズムによる別個の検証戦略が必要です。
人間中心の（数値的な）出力に対する要望。
このような包括的な社会技術的効用ベースの評価フレームワークにより、説明可能な人工知能システムを構成するさまざまな構成要素の特性と下流への影響を、その工学的および社会的側面の多様な範囲を考慮して体系的に推論することが可能になる可能性があります。
予想されるユースケース。

要約(オリジナル)

Despite significant progress, evaluation of explainable artificial intelligence remains elusive and challenging. In this paper we propose a fine-grained validation framework that is not overly reliant on any one facet of these sociotechnical systems, and that recognises their inherent modular structure: technical building blocks, user-facing explanatory artefacts and social communication protocols. While we concur that user studies are invaluable in assessing the quality and effectiveness of explanation presentation and delivery strategies from the explainees’ perspective in a particular deployment context, the underlying explanation generation mechanisms require a separate, predominantly algorithmic validation strategy that accounts for the technical and human-centred desiderata of their (numerical) outputs. Such a comprehensive sociotechnical utility-based evaluation framework could allow to systematically reason about the properties and downstream influence of different building blocks from which explainable artificial intelligence systems are composed — accounting for a diverse range of their engineering and social aspects — in view of the anticipated use case.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google