Predicting Fairness of ML Software Configurations

要約

この論文では、機械学習のハイパーパラメータと公平性の関係を調査します。
データ駆動型ソリューションは、公平性の確保が重要な重要な社会技術アプリケーションでますます使用されています。
ML 開発者は、制御構造やデータ構造を介して意思決定ロジックを明示的にエンコードするのではなく、入力データを提供し、前処理を実行し、ML アルゴリズムを選択し、ハイパーパラメーター (HP) を調整して、意思決定ロジックをエンコードするプログラムを推論します。
以前の研究では、HP の選択が公平性に大きな影響を与える可能性があると報告しています。
ただし、精度、精度、公平性の間の理想的なトレードオフを見つけるために HP を調整することは、依然として費用がかかり、面倒な作業です。
特定のデータセットに対する HP 構成の公平性を予測できますか?
予測は分布の変化に対して堅牢ですか?
私たちはグループの公平性の概念に焦点を当て、5 つのトレーニング アルゴリズムの HP 空間を調査します。
まず、HP の公平性を正確に予測する点で、ツリー リグレッサーと XGBoot がディープ ニューラル ネットワークとサポート ベクター マシンよりも大幅に優れていることがわかりました。
時間的分布シフトの下で ML ハイパーパラメータの公平性を予測する場合、ツリー リグレッサーは妥当な精度で他のアルゴリズムを上回ります。
ただし、精度は ML トレーニング アルゴリズム、データセット、保護された属性によって異なります。
たとえば、ツリー回帰モデルは、保護された属性として性別を使用したロジスティック回帰および判別分析 HP での 2014 年から 2018 年までのトレーニング データ シフトに対して堅牢でした。
ただし、レースやその他のトレーニング アルゴリズムには適用されません。
私たちの方法は、ML トレーニング アルゴリズムの微調整を効率的に実行し、HP と公平性の関係を理解するための健全なフレームワークを提供します。

要約(オリジナル)

This paper investigates the relationships between hyperparameters of machine learning and fairness. Data-driven solutions are increasingly used in critical socio-technical applications where ensuring fairness is important. Rather than explicitly encoding decision logic via control and data structures, the ML developers provide input data, perform some pre-processing, choose ML algorithms, and tune hyperparameters (HPs) to infer a program that encodes the decision logic. Prior works report that the selection of HPs can significantly influence fairness. However, tuning HPs to find an ideal trade-off between accuracy, precision, and fairness has remained an expensive and tedious task. Can we predict fairness of HP configuration for a given dataset? Are the predictions robust to distribution shifts? We focus on group fairness notions and investigate the HP space of 5 training algorithms. We first find that tree regressors and XGBoots significantly outperformed deep neural networks and support vector machines in accurately predicting the fairness of HPs. When predicting the fairness of ML hyperparameters under temporal distribution shift, the tree regressors outperforms the other algorithms with reasonable accuracy. However, the precision depends on the ML training algorithm, dataset, and protected attributes. For example, the tree regressor model was robust for training data shift from 2014 to 2018 on logistic regression and discriminant analysis HPs with sex as the protected attribute; but not for race and other training algorithms. Our method provides a sound framework to efficiently perform fine-tuning of ML training algorithms and understand the relationships between HPs and fairness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google