Fairly Accurate: Optimizing Accuracy Parity in Fair Target-Group Detection

要約

アルゴリズムによる毒性検出パイプラインでは、どの人口統計グループが投稿の対象であるかを特定することが重要であり、このタスクは一般に \textit{ターゲット (グループ) 検出} として知られています。
正確な検出は明らかに重要ですが、私たちはさらに、標的となる可能性のあるすべてのグループに平等な保護を提供するという公平性の目標を提唱します。
この目的を達成するために、私たちは公平性の目標として \textit{Accuracy Parity} (AP) (グループ間でバランスの取れた検出精度) を採用します。
ただし、モデルのトレーニングを AP の公平性の目標に合わせるためには、同等の損失関数が必要です。
さらに、ニューラル ネットワークなどの勾配ベースのモデルの場合、この損失関数は微分可能である必要があります。
現在、AP にはそのような損失関数が存在しないため、\emph{グループ精度パリティ} (GAP)、つまり AP と 1 対 1 のマッピングを持つ最初の微分可能な損失関数を提案します。
我々は、GAP がターゲット検出のグループに異なる影響を与えることを経験的に示しています。
さらに、実際には 1 つの投稿が複数のグループを対象とすることが多いため、従来の研究では通常ヒューリスティックが必要となる、より大きな複数グループ設定への GAP の数学的拡張も提供します。
私たちの調査結果は、AP を最適化することにより、GAP が他の一般的に使用される損失関数と比較してバイアスをより良く軽減することを示しています。

要約(オリジナル)

In algorithmic toxicity detection pipelines, it is important to identify which demographic group(s) are the subject of a post, a task commonly known as \textit{target (group) detection}. While accurate detection is clearly important, we further advocate a fairness objective: to provide equal protection to all groups who may be targeted. To this end, we adopt \textit{Accuracy Parity} (AP) — balanced detection accuracy across groups — as our fairness objective. However, in order to align model training with our AP fairness objective, we require an equivalent loss function. Moreover, for gradient-based models such as neural networks, this loss function needs to be differentiable. Because no such loss function exists today for AP, we propose \emph{Group Accuracy Parity} (GAP): the first differentiable loss function having a one-on-one mapping to AP. We empirically show that GAP addresses disparate impact on groups for target detection. Furthermore, because a single post often targets multiple groups in practice, we also provide a mathematical extension of GAP to larger multi-group settings, something typically requiring heuristics in prior work. Our findings show that by optimizing AP, GAP better mitigates bias in comparison with other commonly employed loss functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google