Iterative Partial Fulfillment of Counterfactual Explanations: Benefits and Risks

要約

反事実 (CF) 説明は、対比説明やアルゴリズム的手段としても知られ、一か八かの分野で機械学習モデルを説明する場合によく使われます。
否定的なモデル予測 (住宅ローン申請の拒否など) を受け取った被験者の場合、CF の説明は同様の例ですが、被験者に改善方法を知らせる肯定的な予測を含みます。
有効性や安定性など、さまざまな特性が研究されていますが、私たちは新しい特性、つまり反復部分履行 (IPF) での動作について貢献します。
具体的には、CFの説明を受け取ると、被験者はそれを部分的にのみ満たしてから、新しい説明を伴う新しい予測を要求し、予測が肯定的になるまで繰り返すことができます。
このような部分的な履行は、被験者の能力が限られている（例、現時点では 4 つのクレジット カード口座のうち 2 つしか支払いできない）、またはチャンスを掴もうとする試み（例、月給 800 ドルの増加で十分であると賭けるなど）によるものである可能性があります。
ただし、1,000ドルをお勧めします）。
このような部分的な履行の反復により、対象者が負担する改善の総コストは増加しますか、それとも減少しますか?
私たちは IPF を数学的に定式化し、異なる CF アルゴリズムが IPF の下で大きく異なる動作を示すことを理論的および経験的に実証しました。
私たちは観察の意味について議論し、CF アルゴリズムの開発と研究においてこの要素を慎重に考慮することを主張し、将来の研究に向けたいくつかの方向性を示します。

要約(オリジナル)

Counterfactual (CF) explanations, also known as contrastive explanations and algorithmic recourses, are popular for explaining machine learning models in high-stakes domains. For a subject that receives a negative model prediction (e.g., mortgage application denial), the CF explanations are similar instances but with positive predictions, which informs the subject of ways to improve. While their various properties have been studied, such as validity and stability, we contribute a novel one: their behaviors under iterative partial fulfillment (IPF). Specifically, upon receiving a CF explanation, the subject may only partially fulfill it before requesting a new prediction with a new explanation, and repeat until the prediction is positive. Such partial fulfillment could be due to the subject’s limited capability (e.g., can only pay down two out of four credit card accounts at this moment) or an attempt to take the chance (e.g., betting that a monthly salary increase of $800 is enough even though $1,000 is recommended). Does such iterative partial fulfillment increase or decrease the total cost of improvement incurred by the subject? We mathematically formalize IPF and demonstrate, both theoretically and empirically, that different CF algorithms exhibit vastly different behaviors under IPF. We discuss implications of our observations, advocate for this factor to be carefully considered in the development and study of CF algorithms, and give several directions for future work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google