FairGBM: Gradient Boosting with Fairness Constraints

要約

表形式のデータは、金融サービスや公共政策など、多くのハイ ステークス ドメインで普及しています。
勾配ブースティング デシジョン ツリー (GBDT) は、パフォーマンスの保証と低コストのために、これらの設定で人気があります。
ただし、結果的な意思決定では、公平性が最も重要です。
GBDT の人気にもかかわらず、既存の処理中の Fair ML メソッドは、GBDT には適用できないか、かなりのトレーニング時間のオーバーヘッドが発生するか、これらのドメインの典型的な問題である高クラスの不均衡の問題には不十分です。
FairGBM は、公平性の制約の下で GBDT をトレーニングするためのデュアル アセント学習フレームワークであり、制約のない GBDT と比較した場合、予測パフォーマンスにほとんどまたはまったく影響を与えません。
観測的公平性メトリクスは微分不可能であるため、勾配ベースの最適化を可能にするために、滑らかな凸エラー率プロキシを使用する「プロキシ ラグランジュ」定式化を採用する必要があります。
私たちの実装は、関連する作業と比較して、トレーニング時間が桁違いに高速化されていることを示しています。

要約(オリジナル)

Tabular data is prevalent in many high stakes domains, such as financial services or public policy. Gradient boosted decision trees (GBDT) are popular in these settings due to performance guarantees and low cost. However, in consequential decision-making fairness is a foremost concern. Despite GBDT’s popularity, existing in-processing Fair ML methods are either inapplicable to GBDT, or incur in significant train time overhead, or are inadequate for problems with high class imbalance — a typical issue in these domains. We present FairGBM, a dual ascent learning framework for training GBDT under fairness constraints, with little to no impact on predictive performance when compared to unconstrained GBDT. Since observational fairness metrics are non-differentiable, we have to employ a ‘proxy-Lagrangian’ formulation using smooth convex error rate proxies to enable gradient-based optimization. Our implementation shows an order of magnitude speedup in training time when compared with related work, a pivotal aspect to foster the widespread adoption of FairGBM by real-world practitioners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google