When the Majority is Wrong: Leveraging Annotator Disagreement for Subjective Tasks

要約

自然言語処理では、一般に注釈者の多数決が真実のラベルとして用いられるが、ヘイトスピーチ検出のようなタスクでは、注釈者の意見の相違は、ノイズではなく、グループの意見の相違を反映しているかもしれない。したがって、ヘイトスピーチ検出における重要な問題は、ある発言が、アノテータープールのごく一部を占めるかもしれない、そのターゲットとなる人口集団にとって不快なものであるかどうかという点である。我々は、攻撃的な文章に対する個々の注釈者の評価を予測するモデルを構築し、この情報と文章の予測されたターゲットグループを組み合わせて、ターゲットグループのメンバーの意見をモデル化する。その結果、個々の注釈者の評価を予測することで、ベースラインより22％、注釈者間の分散を予測することで、33％性能が向上し、モデルの不確実性を下流で測定する方法を提供することができました。我々は、各アノテーターとその評価を結びつけるアノテーターIDを追跡する必要がなく、デモグラフィック情報とオンラインコンテンツに対する意見を用いて、アノテーターの評価を予測できることを発見しました。また、注釈者のオンライン体験に関する非侵襲的な調査質問を使用することで、注釈者の意見を予測する際に、プライバシーを最大限に保護し、不必要な人口統計情報の収集を最小限に抑えることができることを発見しました。

要約(オリジナル)

Though majority vote among annotators is typically used for ground truth labels in natural language processing, annotator disagreement in tasks such as hate speech detection may reflect differences among group opinions, not noise. Thus, a crucial problem in hate speech detection is whether a statement is offensive to the demographic group that it targets, which may constitute a small fraction of the annotator pool. We construct a model that predicts individual annotator ratings on potentially offensive text and combines this information with the predicted target group of the text to model the opinions of target group members. We show gains across a range of metrics, including raising performance over the baseline by 22% at predicting individual annotators’ ratings and 33% at predicting variance among annotators, which provides a method of measuring model uncertainty downstream. We find that annotators’ ratings can be predicted using their demographic information and opinions on online content, without the need to track identifying annotator IDs that link each annotator to their ratings. We also find that use of non-invasive survey questions on annotators’ online experiences helps to maximize privacy and minimize unnecessary collection of demographic information when predicting annotators’ opinions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL