Measuring User Understanding in Dialogue-based XAI Systems

要約

eXplainable Artificial Intelligence (XAI) の分野では、ユーザーの説明ニーズをよりよく反映するために、説明をパーソナライズおよび/またはインタラクティブに適応させる必要性がますます認識されています。
XAI に対する対話ベースのアプローチが最近提案されていますが、XAI の最先端技術は依然として、いわゆるワンショット、非パーソナライズされた一方通行の説明によって特徴付けられています。
対照的に、ユーザーとの対話を通じて説明を調整できる対話ベースのシステムは、情報を要求するためのより直観的な方法を提供するため、GUI ベースやダッシュボードの説明よりも優れていることが約束されています。
一般に、インタラクティブ XAI システムはユーザー満足度の観点から評価されることがよくありますが、ユーザーの客観的なモデルの理解にアクセスする研究は限られています。
これは特に対話ベースの XAI アプローチに当てはまります。
この論文では、対話フレームワーク内で制御された実験を実行することでこのギャップを埋めます。この実験では、ユーザーに学習中のモデルの予測をシミュレーションしてもらい、ユーザーの理解を 3 段階で測定します。
これにより、全体的な理解の（向上した）レベルを定量化できます。
モデルがどのように機能するか、インタラクションの前後の状態を比較します。
さらにデータを分析して、理解度が高いグループと低いグループ間の相互作用がどのように異なるかのパターンを明らかにします。
したがって、全体として、私たちの研究は、XAI アプローチの有効性についての理解に貢献しています。

要約(オリジナル)

The field of eXplainable Artificial Intelligence (XAI) is increasingly recognizing the need to personalize and/or interactively adapt the explanation to better reflect users’ explanation needs. While dialogue-based approaches to XAI have been proposed recently, the state-of-the-art in XAI is still characterized by what we call one-shot, non-personalized and one-way explanations. In contrast, dialogue-based systems that can adapt explanations through interaction with a user promise to be superior to GUI-based or dashboard explanations as they offer a more intuitive way of requesting information. In general, while interactive XAI systems are often evaluated in terms of user satisfaction, there are limited studies that access user’s objective model understanding. This is in particular the case for dialogue-based XAI approaches. In this paper, we close this gap by carrying out controlled experiments within a dialogue framework in which we measure understanding of users in three phases by asking them to simulate the predictions of the model they are learning about. By this, we can quantify the level of (improved) understanding w.r.t. how the model works, comparing the state prior, and after the interaction. We further analyze the data to reveal patterns of how the interaction between groups with high vs. low understanding gain differ. Overall, our work thus contributes to our understanding about the effectiveness of XAI approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google