Mitigating Label Bias via Decoupled Confident Learning

要約

アルゴリズムの公平性に関する懸念の高まりにより、アルゴリズムのバイアスを軽減する方法論が急増しています。
ただし、そのような方法論は主に、トレーニング データで観察されたラベルが正しいことを前提としています。
ラベルの偏見がヘルスケア、雇用、コンテンツ管理などの重要な領域に蔓延しているため、これは問題です。
特に、人間が作成したラベルは社会的偏見をコード化する傾向があります。
ラベリングバイアスの存在は概念的に議論されてきましたが、この問題に対処する方法論は不足しています。
私たちは、ラベルのバイアスを軽減するために特別に設計された枝刈り手法、Decoupled Confident Learning (DeCoLe) を提案します。
合成データセットでのパフォーマンスを示した後、ラベルのバイアスが重要な課題として認識されているヘイト スピーチ検出のコンテキストに DeCoLe を適用し、偏ったラベルの特定に成功し、競合するアプローチよりも優れたパフォーマンスを発揮することを示します。

要約(オリジナル)

Growing concerns regarding algorithmic fairness have led to a surge in methodologies to mitigate algorithmic bias. However, such methodologies largely assume that observed labels in training data are correct. This is problematic because bias in labels is pervasive across important domains, including healthcare, hiring, and content moderation. In particular, human-generated labels are prone to encoding societal biases. While the presence of labeling bias has been discussed conceptually, there is a lack of methodologies to address this problem. We propose a pruning method — Decoupled Confident Learning (DeCoLe) — specifically designed to mitigate label bias. After illustrating its performance on a synthetic dataset, we apply DeCoLe in the context of hate speech detection, where label bias has been recognized as an important challenge, and show that it successfully identifies biased labels and outperforms competing approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google