Mitigating Source Bias for Fairer Weak Supervision

要約

弱い監視により、グラウンド トゥルース ラベルの必要性が減り、トレーニング セットの効率的な開発が可能になります。
しかし、未知のラベルを推定するために任意の信号源を統合するなど、弱い監視を魅力的なものにする技術には、生成される擬似ラベルが非常に偏っているという危険も伴います。
驚くべきことに、日常的な使用とバイアス増加の可能性を考慮すると、弱い監視は公平性の観点から研究されていません。
私たちは、グラウンドトゥルースラベルにアクセスできるデータセットから公平なモデルを構築できたとしても、弱い監視によってラベル付けされた対応するデータセットは恣意的に不公平である可能性があるという観察からこのような研究を開始します。
これに対処するために、弱い監視におけるソースの不公平性のモデルを提案して経験的に検証し、これらのバイアスを軽減できる単純な反事実的公平性に基づく手法を導入します。
理論的には、トレードオフに悩まされる標準的な公平性アプローチとは対照的に、私たちのアプローチは精度と公平性の両方を同時に改善することが可能であることを示します。
経験的に、私たちの技術は弱い監視ベースラインでの精度を 32\% も改善し、同時に人口統計上のパリティ ギャップを 82.5\% 削減することを示しています。
パフォーマンスの最大化を目的としたメソッドの単純な拡張により、WRENCH ベンチマークの 10 個のデータセットのうち 5 個で最先端のパフォーマンスが得られます。

要約(オリジナル)

Weak supervision enables efficient development of training sets by reducing the need for ground truth labels. However, the techniques that make weak supervision attractive — such as integrating any source of signal to estimate unknown labels — also entail the danger that the produced pseudolabels are highly biased. Surprisingly, given everyday use and the potential for increased bias, weak supervision has not been studied from the point of view of fairness. We begin such a study, starting with the observation that even when a fair model can be built from a dataset with access to ground-truth labels, the corresponding dataset labeled via weak supervision can be arbitrarily unfair. To address this, we propose and empirically validate a model for source unfairness in weak supervision, then introduce a simple counterfactual fairness-based technique that can mitigate these biases. Theoretically, we show that it is possible for our approach to simultaneously improve both accuracy and fairness — in contrast to standard fairness approaches that suffer from tradeoffs. Empirically, we show that our technique improves accuracy on weak supervision baselines by as much as 32\% while reducing demographic parity gap by 82.5\%. A simple extension of our method aimed at maximizing performance produces state-of-the-art performance in five out of ten datasets in the WRENCH benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google