Feature Importance Disparities for Data Bias Investigations

要約

分類器における下流のバイアスの原因の1つは、訓練データに存在するバイアスであると広く信じられている。このようなバイアスを修正するには、サブグループで別々のモデルをトレーニングする、収集プロセスでバイアスのある特徴を除去する、あるいはバイアスの原因を確認するために実世界の実験を行うなど、コンテキストに依存した介入が必要になる場合があります。このようなデータバイアスの調査が必要であるにもかかわらず、このような取り組みにおいて実務者を支援する自動化された手法はほとんど存在しない。本論文では、保護された特徴量と保護されていない特徴量からなるデータセット$X$と、結果$y$と、$X$から$y$を予測する回帰因子$h$が与えられた場合に、以下の性質を持つタプル$(f_j, g)$を出力する、そのような手法を紹介する：g$は学習データセット$(X, y)$の部分集合に対応し、$j^{第}$特徴量$f_j$が、その部分集合$g$において、データセット全体よりもはるかに大きな（あるいは小さな）影響力を持つ。我々は、$4$個のデータセットと、機械学習コミュニティが広く関心を持つ$4$個の一般的な特徴重要度法を用いて、指数関数的に大きなサブグループクラス上でも、大きなFID値を持つサブグループを効率的に見つけることができることを示す。

要約(オリジナル)

It is widely held that one cause of downstream bias in classifiers is bias present in the training data. Rectifying such biases may involve context-dependent interventions such as training separate models on subgroups, removing features with bias in the collection process, or even conducting real-world experiments to ascertain sources of bias. Despite the need for such data bias investigations, few automated methods exist to assist practitioners in these efforts. In this paper, we present one such method that given a dataset $X$ consisting of protected and unprotected features, outcomes $y$, and a regressor $h$ that predicts $y$ given $X$, outputs a tuple $(f_j, g)$, with the following property: $g$ corresponds to a subset of the training dataset $(X, y)$, such that the $j^{th}$ feature $f_j$ has much larger (or smaller) influence in the subgroup $g$, than on the dataset overall, which we call feature importance disparity (FID). We show across $4$ datasets and $4$ common feature importance methods of broad interest to the machine learning community that we can efficiently find subgroups with large FID values even over exponentially large subgroup classes and in practice these groups correspond to subgroups with potentially serious bias issues as measured by standard fairness metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL