Prediction without Preclusion: Recourse Verification with Reachable Sets

要約

機械学習モデルは、ローン、就職面接、公的給付金を誰が受け取るかを決定するためによく使用されます。
これらのモデルを構築するための標準的な手法では、人々に関する特徴が使用されますが、その実用性は無視されます。
さらに、モデルは固定された予測を割り当てることができます。これは、融資、面接、福利厚生を拒否された消費者は、信用、雇用、支援へのアクセスから永久に締め出される可能性があることを意味します。
この研究では、リソース検証と呼ばれる固定予測を割り当てるモデルにフラグを立てるための正式なテスト手順を導入します。
私たちは、特定のモデルが、ユーザーが指定した一連の実行可能性の制約から意思決定対象への手段を提供できるかどうかを確実に判断する機械を開発します。
私たちは、私たちのツールが現実世界のデータセットでリコースと敵対的堅牢性をどのように確保できるかを実証し、それらを使用して現実世界の融資データセットでのリコースの実行不可能性を研究します。
私たちの結果は、モデルがアクセスを永続的に禁止する固定予測を誤って割り当てる可能性があることを明らかにしており、モデル開発時に実用性を考慮したアルゴリズムを設計するためのツールを提供します。

要約(オリジナル)

Machine learning models are often used to decide who will receive a loan, a job interview, or a public benefit. Standard techniques to build these models use features about people but overlook their actionability. In turn, models can assign predictions that are fixed, meaning that consumers who are denied loans, interviews, or benefits may be permanently locked out from access to credit, employment, or assistance. In this work, we introduce a formal testing procedure to flag models that assign fixed predictions that we call recourse verification. We develop machinery to reliably determine if a given model can provide recourse to its decision subjects from a set of user-specified actionability constraints. We demonstrate how our tools can ensure recourse and adversarial robustness in real-world datasets and use them to study the infeasibility of recourse in real-world lending datasets. Our results highlight how models can inadvertently assign fixed predictions that permanently bar access, and we provide tools to design algorithms that account for actionability when developing models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google