Subgroup Robustness Grows On Trees: An Empirical Baseline Investigation

要約

タイトル：Subgroup Robustness Grows On Trees: An Empirical Baseline Investigation

要約：

– 研究者は、公平性や堅牢性を持つ機械学習のために多くの手法を提案してきたが、そのサブグループの堅牢性に関する包括的な評価が不足している。
– 本研究では、表形式のデータを対象に、先行研究では明示的に定義された敏感なサブグループがあり、現実的な公平性の問題が多く、状態-of-the-artのツリーベースのモデルをベースラインとして比較しないことが多い文脈で、公平かつ堅牢な学習のいくつかの先行研究手法と最新のツリーベースの手法と他のベースラインとを経験的に比較する。
– 8つのデータセットで$340{,}000$以上のモデル構成での実験を通じて、ツリーベースの方法は、堅牢性および公正性を向上する方法と比較しても強いサブグループの堅牢性を示すことを示す。
– さらに、最高のツリーベースのモデルは、一定範囲のメトリックを超えて良好なパフォーマンスを示す傾向があり、堅牢なまたはグループフェアなモデルは、同じモデルに対して異なるメトリックの間で有意なパフォーマンス差があることがある。
– また、ツリーベースのモデルはハイパーパラメータの設定に対して感度が低く、トレーニングコストも低いことが示された。
– この研究は、ツリーベースのアンサンブルモデルが、表形式のデータにおいて有効なベースラインを提供し、サブグループの堅牢性が必要な場合の合理的なデフォルトであることを示唆している。

要約(オリジナル)

Researchers have proposed many methods for fair and robust machine learning, but comprehensive empirical evaluation of their subgroup robustness is lacking. In this work, we address this gap in the context of tabular data, where sensitive subgroups are clearly-defined, real-world fairness problems abound, and prior works often do not compare to state-of-the-art tree-based models as baselines. We conduct an empirical comparison of several previously-proposed methods for fair and robust learning alongside state-of-the-art tree-based methods and other baselines. Via experiments with more than $340{,}000$ model configurations on eight datasets, we show that tree-based methods have strong subgroup robustness, even when compared to robustness- and fairness-enhancing methods. Moreover, the best tree-based models tend to show good performance over a range of metrics, while robust or group-fair models can show brittleness, with significant performance differences across different metrics for a fixed model. We also demonstrate that tree-based models show less sensitivity to hyperparameter configurations, and are less costly to train. Our work suggests that tree-based ensemble models make an effective baseline for tabular data, and are a sensible default when subgroup robustness is desired. For associated code and detailed results, see https://github.com/jpgard/subgroup-robustness-grows-on-trees .

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI