Counterfactual Risk Assessments under Unmeasured Confounding

要約

統計的リスク評価は、提案された決定に基づく結果を反事実的に予測することによって、刑事司法における公判前釈放や消費者金融におけるローン承認などの結果的な決定を通知します (たとえば、このローンを承認した場合、申請者は不履行になるでしょうか?)。
ただし、過去のデータの決定と結果に影響を与える測定されていない交絡因子があった可能性があります。
測定されていない交絡因子が平均して結果に影響を与える範囲を制限する平均結果感度モデルを提案します。
平均結果感度モデルは、提案された決定の下での結果の条件付き可能性、一般的な予測パフォーマンス メトリック、および予測格差を部分的に識別します。
識別されたセットを導き出し、交絡に強い学習と統計的リスク評価の評価のための手順を開発します。
提案された決定の下での結果の条件付き尤度の境界のノンパラメトリック回帰手順、および予測性能と格差の境界の推定量を提案します。
私たちの方法をオーストラリアの大手金融機関からの実世界のクレジット スコアリング タスクに適用して、測定されていない交絡に関するさまざまな仮定が、クレジット スコアの予測とその予測格差の評価にどのように実質的な変化をもたらすかを示します。

要約(オリジナル)

Statistical risk assessments inform consequential decisions, such as pretrial release in criminal justice and loan approvals in consumer finance, by counterfactually predicting an outcome under a proposed decision (e.g., would the applicant default if we approved this loan?). There may, however, have been unmeasured confounders that jointly affected decisions and outcomes in the historical data. We propose a mean outcome sensitivity model that bounds the extent to which unmeasured confounders could affect outcomes on average. The mean outcome sensitivity model partially identifies the conditional likelihood of the outcome under the proposed decision, popular predictive performance metrics, and predictive disparities. We derive their identified sets and develop procedures for the confounding-robust learning and evaluation of statistical risk assessments. We propose a nonparametric regression procedure for the bounds on the conditional likelihood of the outcome under the proposed decision, and estimators for the bounds on predictive performance and disparities. Applying our methods to a real-world credit-scoring task from a large Australian financial institution, we show how varying assumptions on unmeasured confounding lead to substantive changes in the credit score’s predictions and evaluations of its predictive disparities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google