Reason to explain: Interactive contrastive explanations (REASONX)

要約

多くの高性能機械学習モデルは解釈できません。
個人に重大な影響を及ぼす可能性のある意思決定シナリオでこれらが使用されることが増えているため、その結果をよりよく理解するためのツールを開発する必要があります。
一般的な説明方法には、対比的な説明が含まれます。
しかし、それらにはいくつかの欠点があり、特に背景知識の組み込みが不十分であったり、対話性が欠如していたり​​します。
（対話のような）対話性は説明をより良く伝えるために重要ですが、背景知識は、説明をエンドユーザーのニーズに適応させるなど、品質を大幅に向上させる可能性を秘めています。
このギャップを埋めるために、制約ロジック プログラミング (CLP) に基づく説明ツールである REASONX を紹介します。
REASONX は、背景知識によって強化できるインタラクティブな対比的な説明を提供し、不完全な情報の設定の下で動作できるようにするため、提供される説明の柔軟性が向上します。
REASONX は、事実に基づく決定ルールと矛盾した決定ルール、および最も近い矛盾した例を計算します。
ここでは、分析対象の ML モデル、または任意の ML モデルのグローバル/ローカル代理モデルであるデシジョン ツリーについて説明します。
REASONX のコア部分は CLP 上に構築されていますが、Python を介して説明を計算できるプログラム層も提供しており、このツールをより幅広いユーザーが利用できるようにしています。
合成データセットとクレジット領域でよく開発された例を使用して、REASONX の機能を説明します。
どちらの場合でも、REASONX をどのように柔軟に使用し、ユーザーのニーズに合わせて調整できるかを示すことができます。

要約(オリジナル)

Many high-performing machine learning models are not interpretable. As they are increasingly used in decision scenarios that can critically affect individuals, it is necessary to develop tools to better understand their outputs. Popular explanation methods include contrastive explanations. However, they suffer several shortcomings, among others an insufficient incorporation of background knowledge, and a lack of interactivity. While (dialogue-like) interactivity is important to better communicate an explanation, background knowledge has the potential to significantly improve their quality, e.g., by adapting the explanation to the needs of the end-user. To close this gap, we present REASONX, an explanation tool based on Constraint Logic Programming (CLP). REASONX provides interactive contrastive explanations that can be augmented by background knowledge, and allows to operate under a setting of under-specified information, leading to increased flexibility in the provided explanations. REASONX computes factual and constrative decision rules, as well as closest constrative examples. It provides explanations for decision trees, which can be the ML models under analysis, or global/local surrogate models of any ML model. While the core part of REASONX is built on CLP, we also provide a program layer that allows to compute the explanations via Python, making the tool accessible to a wider audience. We illustrate the capability of REASONX on a synthetic data set, and on a a well-developed example in the credit domain. In both cases, we can show how REASONX can be flexibly used and tailored to the needs of the user.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google