Selective Explanations: Leveraging Human Input to Align Explainable AI

要約

近年、説明可能な AI (XAI) アルゴリズムの膨大なコレクションが開発されていますが、人間が説明を生成および消費する方法との大きなギャップがあるとして批判されることがよくあります。
その結果、現在の XAI 技術は使いにくく、有効性に欠けていることがよくあります。
この研究では、受信者の好みに合致するものに基づいてモデル理由の大規模なセットからサブセットを選択的に提示することで、AI の説明を選択的 (人間の説明の基本的な特性) にすることで、これらのギャップを埋めようとします。
我々は、少数のサンプルに対する人間の入力を活用して、選択的な説明を生成するための一般的なフレームワークを提案します。
このフレームワークは、さまざまな選択性の目標、入力の種類などを考慮した豊富な設計スペースを開きます。
ショーケースとして、意思決定支援タスクを使用して、意思決定者が意思決定タスクに関連すると考えるものに基づいて選択的な説明を探索します。
私たちは、提案したフレームワークに基づいて、可能な限り広範なパラダイムのセットのうち 3 つを検討するために 2 つの実験研究を実施しました。研究 1 では、参加者に、自由回答型または批評ベースの入力のいずれかで、選択的な説明を生成するための独自の入力を提供するよう求めました。
。
研究 2 では、同様のユーザーのパネル (アノテーター) からの入力に基づいて、参加者に選択的な説明を示します。
私たちの実験は、AI への過度の依存を減らし、意思決定の結果と AI の主観的な認識を改善する上で選択的説明が期待できることを実証していますが、これらのプラスの効果の一部が AI を強化するために自分自身のインプットを提供する機会に起因するという微妙な状況も描いています。
説明。
全体として、私たちの研究は人間のコミュニケーション行動に触発された新しい XAI フレームワークを提案し、AI の説明を人間の説明の生成および消費とより適切に調整するための将来の研究を促進する可能性を示しています。

要約(オリジナル)

While a vast collection of explainable AI (XAI) algorithms have been developed in recent years, they are often criticized for significant gaps with how humans produce and consume explanations. As a result, current XAI techniques are often found to be hard to use and lack effectiveness. In this work, we attempt to close these gaps by making AI explanations selective — a fundamental property of human explanations — by selectively presenting a subset from a large set of model reasons based on what aligns with the recipient’s preferences. We propose a general framework for generating selective explanations by leveraging human input on a small sample. This framework opens up a rich design space that accounts for different selectivity goals, types of input, and more. As a showcase, we use a decision-support task to explore selective explanations based on what the decision-maker would consider relevant to the decision task. We conducted two experimental studies to examine three out of a broader possible set of paradigms based on our proposed framework: in Study 1, we ask the participants to provide their own input to generate selective explanations, with either open-ended or critique-based input. In Study 2, we show participants selective explanations based on input from a panel of similar users (annotators). Our experiments demonstrate the promise of selective explanations in reducing over-reliance on AI and improving decision outcomes and subjective perceptions of the AI, but also paint a nuanced picture that attributes some of these positive effects to the opportunity to provide one’s own input to augment AI explanations. Overall, our work proposes a novel XAI framework inspired by human communication behaviors and demonstrates its potentials to encourage future work to better align AI explanations with human production and consumption of explanations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google