Fairness under Covariate Shift: Improving Fairness-Accuracy tradeoff with few Unlabeled Test Samples

要約

テスト データの共変量シフトは、モデルの精度と公平性の両方のパフォーマンスを大幅に低下させる可能性がある一般的な実際の現象です。
刑事司法などの社会的影響により、共変量シフトの下でさまざまな敏感なグループ間で公平性を確保することが最も重要です。
私たちは教師なし体制で業務を行っており、ラベルの付いていないテストサンプルとラベル付きのトレーニングセットの少数のセットのみが利用可能です。
この非常に困難だが現実的なシナリオの下で公平性を向上させるために、私たちは 3 つの貢献を行っています。
1 つ目は、予測精度を高めるための新しい複合加重エントロピー ベースの目標であり、公平性を確保するための表現マッチング損失とともに最適化されています。
私たちは、いくつかの標準データセットにおける公平性と精度のトレードオフに関して、損失公式による最適化がパレート的な意味で多くの最先端のベースラインよりも優れていることを実験的に検証しています。
私たちの 2 番目の貢献は、私たちが知る限り、これまで研究されたことがない、非対称共変量シフトと呼ぶ新しい設定です。
非対称共変量シフトは、あるグループの共変量の分布が他のグループに比べて大きくシフトする場合に発生します。これは、支配的なグループが過剰に代表される場合に発生します。
この設定は現在のベースラインにとって非常に困難ですが、提案された方法がそれらを大幅に上回ることを示します。
3 番目の貢献は理論的なもので、トレーニング セットの予測損失とともに重み付きエントロピー項が共変量シフトの下でのテスト損失を近似することを示します。
経験的に、また形式的なサンプル複雑さの限界を通じて、目に見えないテスト損失に対するこの近似は、他の多くのベースラインに影響を与える重要度のサンプリング分散に依存しないことを示します。

要約(オリジナル)

Covariate shift in the test data is a common practical phenomena that can significantly downgrade both the accuracy and the fairness performance of the model. Ensuring fairness across different sensitive groups under covariate shift is of paramount importance due to societal implications like criminal justice. We operate in the unsupervised regime where only a small set of unlabeled test samples along with a labeled training set is available. Towards improving fairness under this highly challenging yet realistic scenario, we make three contributions. First is a novel composite weighted entropy based objective for prediction accuracy which is optimized along with a representation matching loss for fairness. We experimentally verify that optimizing with our loss formulation outperforms a number of state-of-the-art baselines in the pareto sense with respect to the fairness-accuracy tradeoff on several standard datasets. Our second contribution is a new setting we term Asymmetric Covariate Shift that, to the best of our knowledge, has not been studied before. Asymmetric covariate shift occurs when distribution of covariates of one group shifts significantly compared to the other groups and this happens when a dominant group is over-represented. While this setting is extremely challenging for current baselines, We show that our proposed method significantly outperforms them. Our third contribution is theoretical, where we show that our weighted entropy term along with prediction loss on the training set approximates test loss under covariate shift. Empirically and through formal sample complexity bounds, we show that this approximation to the unseen test loss does not depend on importance sampling variance which affects many other baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google