Prediction without Preclusion: Recourse Verification with Reachable Sets

要約

機械学習モデルは、ローン、就職面接、または公的給付金を受け取る人を決定するためによく使用されます。
このような設定のモデルは、実用性を考慮せずに機能を使用します。
その結果、彼らは、融資や面接を拒否された個人は実際に信用や雇用へのアクセスを妨げられることを意味する、固定された $-$ の予測を割り当てることができます。
この研究では、モデルが決定主体に固定予測を割り当てるかどうかをテストするために、リソース検証と呼ばれる手順を導入します。
我々は、到達可能な集合 $-$ 、つまり特徴空間内で人が行動を通じて到達できるすべての点の集合を用いたリソース検証のためのモデルに依存しないアプローチを提案します。
私たちは、予測をクエリするだけでモデルの応答性を証明できる、離散特徴空間の到達可能なセットを構築する方法を開発します。
私たちは、消費者金融からのデータセットを利用することが不可能であるかどうかについて、包括的な実証研究を実施しています。
私たちの結果は、モデルが固定予測を割り当てることによって不用意にアクセスを妨げる可能性があることを浮き彫りにし、モデル開発における実用性を考慮する必要性を強調しています。

要約(オリジナル)

Machine learning models are often used to decide who receives a loan, a job interview, or a public benefit. Models in such settings use features without considering their actionability. As a result, they can assign predictions that are fixed $-$ meaning that individuals who are denied loans and interviews are, in fact, precluded from access to credit and employment. In this work, we introduce a procedure called recourse verification to test if a model assigns fixed predictions to its decision subjects. We propose a model-agnostic approach for recourse verification with reachable sets $-$ i.e., the set of all points that a person can reach through their actions in feature space. We develop methods to construct reachable sets for discrete feature spaces, which can certify the responsiveness of any model by simply querying its predictions. We conduct a comprehensive empirical study on the infeasibility of recourse on datasets from consumer finance. Our results highlight how models can inadvertently preclude access by assigning fixed predictions and underscore the need to account for actionability in model development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google