The Value of Information in Human-AI Decision-making

要約

人間やAIモデルを含む複数のエージェントは、しばしば意思決定タスクにおいてペアを組み、両エージェントのパフォーマンスを組み合わせることで、どちらか一方のみのパフォーマンスを上回る、相補的なパフォーマンスを達成することが期待される。しかし、人間とAIのチームのパフォーマンスを向上させる方法を知ることは、各エージェントがどのような特定の情報や戦略を採用しているのかを詳しく知ることなしには、しばしば困難である。我々は、AIが支援する意思決定ワークフローにおける情報の価値、ひいてはエージェントが利用可能な情報をより良く活用する機会を特徴付けるための意思決定理論的フレームワークを提供する。我々は、モデルの選択、人間とAIのパフォーマンスの経験的評価、および説明設計のためのフレームワークの使用を実証する。我々は、意思決定における情報価値を説明するために、顕著性ベースの説明であるSHAPを適応させた新しい情報ベースの説明技法を提案する。

要約(オリジナル)

Multiple agents — including humans and AI models — are often paired on decision tasks with the expectation of achieving complementary performance, where the combined performance of both agents outperforms either one alone. However, knowing how to improve the performance of a human-AI team is often difficult without knowing more about what particular information and strategies each agent employs. We provide a decision-theoretic framework for characterizing the value of information — and consequently, opportunities for agents to better exploit available information — in AI-assisted decision workflows. We demonstrate the use of the framework for model selection, empirical evaluation of human-AI performance, and explanation design. We propose a novel information-based explanation technique that adapts SHAP, a saliency-based explanation, to explain information value in decision making.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL