The Risks of Recourse in Binary Classification

要約

アルゴリズム・リコース（algorithmic recourse）は、機械学習システムによる不利な決定をユーザーが覆すための説明を提供する。しかし、これまでのところ、リコースを提供することが有益か否かについてはほとんど注目されていない。我々は、アルゴリズムによるリコースの有無による分類のリスク（すなわち期待損失）を比較する抽象的な学習理論的枠組みを導入する。これにより、集団レベルにおいて、遡及手段を提供することが有益か有害かという問いに答えることができる。驚くべきことに、我々は、リコースを提供することが有害であることが判明する多くのもっともらしいシナリオが存在することを発見した。さらに、分類器を配置する側に、遡及手段を提供しなければならないことを見越して戦略を立てるインセンティブがあるかどうかを調査したところ、ユーザにとって不利になるような遡及手段を提供することがあることがわかった。従って、アルゴリズムによる救済を提供することは、システムレベルにおいても有害である可能性がある。我々は、シミュレーションデータと実世界のデータを用いた実験で、理論的な発見を確認した。全体として、アルゴリズムによる救済という現在の概念は、確実に有益であるとは言えず、したがって再考が必要であるという結論に達した。

要約(オリジナル)

Algorithmic recourse provides explanations that help users overturn an unfavorable decision by a machine learning system. But so far very little attention has been paid to whether providing recourse is beneficial or not. We introduce an abstract learning-theoretic framework that compares the risks (i.e., expected losses) for classification with and without algorithmic recourse. This allows us to answer the question of when providing recourse is beneficial or harmful at the population level. Surprisingly, we find that there are many plausible scenarios in which providing recourse turns out to be harmful, because it pushes users to regions of higher class uncertainty and therefore leads to more mistakes. We further study whether the party deploying the classifier has an incentive to strategize in anticipation of having to provide recourse, and we find that sometimes they do, to the detriment of their users. Providing algorithmic recourse may therefore also be harmful at the systemic level. We confirm our theoretical findings in experiments on simulated and real-world data. All in all, we conclude that the current concept of algorithmic recourse is not reliably beneficial, and therefore requires rethinking.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL