Evaluating Fairness in Transaction Fraud Models: Fairness Metrics, Bias Audits, and Challenges

要約

偏った意思決定による潜在的な危害や法的影響を考慮すると、取引不正検出モデルの公平性を確保することが極めて重要です。
アルゴリズムの公平性に関する広範な研究にもかかわらず、主にこの分野特有の課題により、不正検出モデルにおけるバイアスの研究には顕著なギャップがあります。
これらの課題には、不正データの不均衡な性質や、不正防止とサービス品質の間のトレードオフを考慮した公平性指標の必要性が含まれます。
このギャップに対処するために、私たちは公開合成データセットを使用した取引詐欺モデルの包括的な公平性評価を提示し、この分野における初のアルゴリズムによるバイアス監査をマークします。
私たちの調査結果では、次の 3 つの重要な洞察が明らかになります。 (1) 特定の公平性指標は、正規化後にのみ重大な偏りを明らかにし、クラスの不均衡の影響を強調します。
(2) サービス品質関連のパリティ メトリックと不正防止関連のパリティ メトリックの両方で偏りが顕著です。
(3) 性別などの機密属性の削除を伴う無認識による公平性のアプローチでは、相関するプロキシが存在する可能性が高いため、これらのデータセット内のバイアス緩和は改善されません。
また、取引詐欺モデルにおける社会技術的公平性に関連する課題についても説明します。
これらの洞察は、不正検出の公平性、保護とサービス品質のバランス、そして単純なバイアス軽減戦略を超えた微妙なアプローチの必要性を強調しています。
今後の作業は、公平性の指標を改良し、トランザクション詐欺ドメイン特有の複雑さに合わせた方法を開発することに重点を置く必要があります。

要約(オリジナル)

Ensuring fairness in transaction fraud detection models is vital due to the potential harms and legal implications of biased decision-making. Despite extensive research on algorithmic fairness, there is a notable gap in the study of bias in fraud detection models, mainly due to the field’s unique challenges. These challenges include the need for fairness metrics that account for fraud data’s imbalanced nature and the tradeoff between fraud protection and service quality. To address this gap, we present a comprehensive fairness evaluation of transaction fraud models using public synthetic datasets, marking the first algorithmic bias audit in this domain. Our findings reveal three critical insights: (1) Certain fairness metrics expose significant bias only after normalization, highlighting the impact of class imbalance. (2) Bias is significant in both service quality-related parity metrics and fraud protection-related parity metrics. (3) The fairness through unawareness approach, which involved removing sensitive attributes such as gender, does not improve bias mitigation within these datasets, likely due to the presence of correlated proxies. We also discuss socio-technical fairness-related challenges in transaction fraud models. These insights underscore the need for a nuanced approach to fairness in fraud detection, balancing protection and service quality, and moving beyond simple bias mitigation strategies. Future work must focus on refining fairness metrics and developing methods tailored to the unique complexities of the transaction fraud domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google