FairGBM: Gradient Boosting with Fairness Constraints

要約

表形式のデータは、金融サービスや公共政策など、多くの利害関係のある領域で普及しています。勾配ブースト決定木(GBDT)は、そのスケーラビリティ、性能、低トレーニングコストにより、これらの設定で人気があります。このような領域では、公平性が最も重要な関心事ですが、既存の処理内公平ML手法は、GBDTと互換性がないか、訓練にかなり時間がかかる一方で、性能が大きく低下しています。本論文では、公平性制約の下でGBDTを学習するための二重上昇学習フレームワークであるFairGBMを紹介し、制約のないGBDTと比較して、予測性能にほとんど影響を与えないようにする。観測的な公平性指標は微分不可能であるため、我々は一般的な公平性基準に対する滑らかな凸型エラーレートプロキシーを提案し、“プロキシラグランジアン”形式を用いた勾配ベースの最適化を可能にする。これは、実世界の実務家がFairGBMを広く採用するために極めて重要な点である。

要約(オリジナル)

Tabular data is prevalent in many high-stakes domains, such as financial services or public policy. Gradient Boosted Decision Trees (GBDT) are popular in these settings due to their scalability, performance, and low training cost. While fairness in these domains is a foremost concern, existing in-processing Fair ML methods are either incompatible with GBDT, or incur in significant performance losses while taking considerably longer to train. We present FairGBM, a dual ascent learning framework for training GBDT under fairness constraints, with little to no impact on predictive performance when compared to unconstrained GBDT. Since observational fairness metrics are non-differentiable, we propose smooth convex error rate proxies for common fairness criteria, enabling gradient-based optimization using a “proxy-Lagrangian” formulation. Our implementation shows an order of magnitude speedup in training time relative to related work, a pivotal aspect to foster the widespread adoption of FairGBM by real-world practitioners.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL