Improving Fairness-Accuracy tradeoff with few Test Samples under Covariate Shift

要約

テスト データの共変量シフトにより、モデルの精度と公平性のパフォーマンスが大幅に低下する可能性があります。
このような環境では、刑事司法などの社会的影響により、さまざまな機密性の高いグループ間の公平性を確保することが最も重要です。
当社は、ラベル付きのトレーニング セットとともにラベルなしのテスト サンプルの少数のセットのみが利用可能な教師なし体制の下で業務を行っています。
この問題に対して、私たちは 3 つの貢献を行っています。
1 つ目は、予測精度を高めるための新しい複合加重エントロピー ベースの目標であり、公平性を確保するための表現マッチング損失とともに最適化されています。
私たちは、いくつかの標準データセットにおける公平性と精度のトレードオフに関して、損失公式による最適化がパレート的な意味で多くの最先端のベースラインよりも優れていることを実験的に検証しています。
私たちの 2 番目の貢献は、私たちが知る限り、これまで研究されたことがない、非対称共変量シフトと呼ぶ新しい設定です。
非対称共変量シフトは、あるグループの共変量の分布が他のグループに比べて大きくシフトする場合に発生します。これは、支配的なグループが過剰に代表される場合に発生します。
この設定は現在のベースラインにとって非常に困難ですが、提案された方法がそれらを大幅に上回ることを示します。
3 番目の貢献は理論的なもので、トレーニング セットの予測損失とともに重み付きエントロピー項が共変量シフトの下でのテスト損失を近似することを示します。
経験的に、また形式的なサンプル複雑さの限界を通じて、目に見えないテスト損失に対するこの近似は、他の多くのベースラインに影響を与える重要度のサンプリング分散に依存しないことを示します。

要約(オリジナル)

Covariate shift in the test data can significantly downgrade both the accuracy and the fairness performance of the model. Ensuring fairness across different sensitive groups in such settings is of paramount importance due to societal implications like criminal justice. We operate under the unsupervised regime where only a small set of unlabeled test samples along with a labeled training set is available. Towards this problem, we make three contributions. First is a novel composite weighted entropy based objective for prediction accuracy which is optimized along with a representation matching loss for fairness. We experimentally verify that optimizing with our loss formulation outperforms a number of state-of-the-art baselines in the pareto sense with respect to the fairness-accuracy tradeoff on several standard datasets. Our second contribution is a new setting we term Asymmetric Covariate Shift that, to the best of our knowledge, has not been studied before. Asymmetric covariate shift occurs when distribution of covariates of one group shifts significantly compared to the other groups and this happens when a dominant group is over-represented. While this setting is extremely challenging for current baselines, We show that our proposed method significantly outperforms them. Our third contribution is theoretical, where we show that our weighted entropy term along with prediction loss on the training set approximates test loss under covariate shift. Empirically and through formal sample complexity bounds, we show that this approximation to the unseen test loss does not depend on importance sampling variance which affects many other baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google