Evaluating AI fairness in credit scoring with the BRIO tool

要約

信用スコアリングに応用して、AI システムにおける公平性の問題を定量的かつ詳細に分析する方法を紹介します。
この目的のために、私たちは社会的不公平、そしてより一般的には倫理的に望ましくない行為に関して AI システムを評価するためのツールである BRIO を使用します。
これは、\cite{DBLP:conf/beware/CoragliaDGGPPQ23} に示されているモデルに依存しないバイアス検出モジュールを備えており、これに本格的な不公平リスク評価モジュールが追加されています。
ケーススタディとして、信用スコアリングのコンテキストに焦点を当て、UCI ドイツ信用データセット \cite{misc_statlog_(german_credit_data)_144} を分析します。
私たちは、信用スコアリング モデルにおける偏見と差別の潜在的な原因を特定することを目的として、BRIO の公平性指標をドイツの信用データセットに含まれるいくつかの社会的に敏感な属性に適用し、さまざまな人口統計セグメントにわたる公平性を定量化します。
最後に、結果と収益分析を組み合わせます。

要約(オリジナル)

We present a method for quantitative, in-depth analyses of fairness issues in AI systems with an application to credit scoring. To this aim we use BRIO, a tool for the evaluation of AI systems with respect to social unfairness and, more in general, ethically undesirable behaviours. It features a model-agnostic bias detection module, presented in \cite{DBLP:conf/beware/CoragliaDGGPPQ23}, to which a full-fledged unfairness risk evaluation module is added. As a case study, we focus on the context of credit scoring, analysing the UCI German Credit Dataset \cite{misc_statlog_(german_credit_data)_144}. We apply the BRIO fairness metrics to several, socially sensitive attributes featured in the German Credit Dataset, quantifying fairness across various demographic segments, with the aim of identifying potential sources of bias and discrimination in a credit scoring model. We conclude by combining our results with a revenue analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google