Using LLMs for Explaining Sets of Counterfactual Examples to Final Users

要約

因果関係は、単なる相関関係に依存するのではなく、予測モデル内の変数間の真の因果関係を理解するために不可欠であり、説明可能な AI の分野で非常に関連性が高くなります。
自動化された意思決定シナリオでは、因果推論手法により基礎となるデータ生成プロセスを分析し、特徴を操作して反事実の例を作成することでモデルの決定を説明できるようになります。
これらの反事実は、最小限の要因が変更される仮説的なシナリオを調査し、状況を変える方法に関する貴重な情報をエンドユーザーに提供します。
ただし、生データ レコードの分析に慣れていないエンド ユーザーにとって、一連の複数の反事実を解釈するのは困難な場合があります。
私たちの研究では、反事実を使用して、LLM を使用した表形式データの分類器の結果の変化につながるアクションの自然言語説明を生成する、新しいマルチステップ パイプラインを提案します。
このパイプラインは、反事実のケースに基づいて決定を説明するときに、人間の推論を模倣する小さなタスクを通じて LLM をガイドするように設計されています。
私たちは公開データセットを使用してさまざまな実験を実施し、最終的な説明と反事実との一貫性およびコンテンツの品質を評価するための閉ループ評価方法を提案しました。
結果は有望ですが、他のデータセットを使用したさらなる実験と人による評価を実行する必要があります。

要約(オリジナル)

Causality is vital for understanding true cause-and-effect relationships between variables within predictive models, rather than relying on mere correlations, making it highly relevant in the field of Explainable AI. In an automated decision-making scenario, causal inference methods can analyze the underlying data-generation process, enabling explanations of a model’s decision by manipulating features and creating counterfactual examples. These counterfactuals explore hypothetical scenarios where a minimal number of factors are altered, providing end-users with valuable information on how to change their situation. However, interpreting a set of multiple counterfactuals can be challenging for end-users who are not used to analyzing raw data records. In our work, we propose a novel multi-step pipeline that uses counterfactuals to generate natural language explanations of actions that will lead to a change in outcome in classifiers of tabular data using LLMs. This pipeline is designed to guide the LLM through smaller tasks that mimic human reasoning when explaining a decision based on counterfactual cases. We conducted various experiments using a public dataset and proposed a method of closed-loop evaluation to assess the coherence of the final explanation with the counterfactuals, as well as the quality of the content. Results are promising, although further experiments with other datasets and human evaluations should be carried out.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google