When the Majority is Wrong: Modeling Annotator Disagreement for Subjective Tasks

要約

通常、自然言語処理のグラウンド トゥルース ラベルにはアノテーター間の多数決が使用されますが、ヘイトスピーチ検出などのタスクにおけるアノテーターの意見の不一致は、ノイズではなくグループ間の意見の違いを反映している可能性があります。
したがって、ヘイトスピーチ検出における重大な問題は、そのステートメントが、アノテーターの集団のごく一部を構成する可能性のあるターゲット層のグループにとって攻撃的であるかどうかを判断することです。
私たちは、攻撃的な可能性のあるテキストに対する個々のアノテーターの評価を予測するモデルを構築し、この情報をテキストの予測対象グループと組み合わせて、対象グループのメンバーの意見をモデル化します。
個々のアノテーターの評価の予測で 22%、アノテーター間の分散の予測で 33% パフォーマンスがベースラインを超えて向上するなど、さまざまなメトリックでの向上が示されており、これが下流のモデルの不確実性のメトリックを提供します。
アノテーターの評価は、各アノテーターを評価に結び付けるアノテーター ID の識別を追跡する必要がなく、人口統計情報とオンライン コンテンツに関する意見を使用して予測できることがわかりました。
また、アノテーターのオンライン体験に関して非侵襲的な調査質問を使用することは、アノテーターの意見を予測する際にプライバシーを最大化し、不必要な人口統計情報の収集を最小限に抑えるのに役立つこともわかりました。

要約(オリジナル)

Though majority vote among annotators is typically used for ground truth labels in natural language processing, annotator disagreement in tasks such as hate speech detection may reflect differences in opinion across groups, not noise. Thus, a crucial problem in hate speech detection is determining whether a statement is offensive to the demographic group that it targets, when that group may constitute a small fraction of the annotator pool. We construct a model that predicts individual annotator ratings on potentially offensive text and combines this information with the predicted target group of the text to model the opinions of target group members. We show gains across a range of metrics, including raising performance over the baseline by 22% at predicting individual annotators’ ratings and by 33% at predicting variance among annotators, which provides a metric for model uncertainty downstream. We find that annotator ratings can be predicted using their demographic information and opinions on online content, without the need to track identifying annotator IDs that link each annotator to their ratings. We also find that use of non-invasive survey questions on annotators’ online experiences helps to maximize privacy and minimize unnecessary collection of demographic information when predicting annotators’ opinions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google