Machine Explanations and Human Understanding

要約

説明は、機械学習モデルに対する人間の理解を向上させ、モデルのデバッグから人間の意思決定の強化に至るまで、さまざまな望ましい結果を達成すると仮定されています。
しかし、実証研究では、さまざまな結果が得られ、否定的な結果さえあります。
したがって、未解決の問題は、説明が人間の理解をどのような条件下でどのように改善できるかということです。
適合した因果図を使用して、機械の説明と人間の理解の間の相互作用の正式な特徴付けを提供し、人間の直感が人間の理解を可能にする上でどのように中心的な役割を果たすかを示します。
具体的には、人間と AI の意思決定のコンテキストにおける理解の既存のすべての定量的尺度をカバーする、重要な 3 つの重要な概念 (タスク決定境界、モデル決定境界、およびモデル エラー) を特定します。
私たちの主な結果は、タスク固有の直感に関する仮定がなければ、説明はモデル決定境界に対する人間の理解を改善する可能性がありますが、タスク決定境界やモデル エラーに対する人間の理解を改善することはできないということです。
補完的な人間と AI のパフォーマンスを実現するために、説明が人間の直感とどのように連携する必要があるかについて、可能な方法を明確にします。
たとえば、特徴の関連性に関する人間の直感 (たとえば、人の収入を予測する上で、教育は年齢よりも重要である) は、モデルのエラーを検出する上で重要になる可能性があります。
実験的な人間を対象とした研究により、機械による説明の結果を形作る上での人間の直感の重要性を検証します。
全体として、私たちの仕事は、将来のアルゴリズム開発と機械の説明の経験的実験のための実用的な意味とともに、一般的なフレームワークを提供します。

要約(オリジナル)

Explanations are hypothesized to improve human understanding of machine learning models and achieve a variety of desirable outcomes, ranging from model debugging to enhancing human decision making. However, empirical studies have found mixed and even negative results. An open question, therefore, is under what conditions explanations can improve human understanding and in what way. Using adapted causal diagrams, we provide a formal characterization of the interplay between machine explanations and human understanding, and show how human intuitions play a central role in enabling human understanding. Specifically, we identify three core concepts of interest that cover all existing quantitative measures of understanding in the context of human-AI decision making: task decision boundary, model decision boundary, and model error. Our key result is that without assumptions about task-specific intuitions, explanations may potentially improve human understanding of model decision boundary, but they cannot improve human understanding of task decision boundary or model error. To achieve complementary human-AI performance, we articulate possible ways on how explanations need to work with human intuitions. For instance, human intuitions about the relevance of features (e.g., education is more important than age in predicting a person’s income) can be critical in detecting model error. We validate the importance of human intuitions in shaping the outcome of machine explanations with empirical human-subject studies. Overall, our work provides a general framework along with actionable implications for future algorithmic development and empirical experiments of machine explanations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google