When Do Annotator Demographics Matter? Measuring the Influence of Annotator Demographics with the POPQUORN Dataset

要約

アノテーターは代替可能ではありません。
彼らの人口統計、人生経験、背景はすべて、データのラベル付け方法に影響します。
ただし、NLP は、アノテーターのアイデンティティがアノテーターの決定にどのような影響を与えるかを検討したのはつい最近のことです。
ここでは、POPQUORN (質問応答、攻撃性、テキスト書き換え、および人口統計上のニュアンスによる丁寧さ評価のための POtato-Prolific データセット) を紹介します。
POPQUORN には、米国人口としての性別、年齢、人種に関する代表的なサンプルから抽出された、1,484 人のアノテーターによる 45,000 のアノテーションが含まれています。
一連の分析を通じて、アノテーターの背景が彼らの判断に重要な役割を果たしていることがわかりました。
さらに、私たちの研究は、NLP ではこれまで考慮されていなかった背景 (教育など) が重要であり、考慮されるべきであることを示しています。
私たちの研究は、アノテーターの背景を理解し、人口統計的にバランスの取れたクラウド ワーカーのプールからラベルを収集することが、データセットの偏りを軽減するために重要であることを示唆しています。
データセット、アノテーターの背景、およびアノテーション インターフェイスは、 https://github.com/Jiaxin-Pei/potato-prolific-dataset で入手できます。

要約(オリジナル)

Annotators are not fungible. Their demographics, life experiences, and backgrounds all contribute to how they label data. However, NLP has only recently considered how annotator identity might influence their decisions. Here, we present POPQUORN (the POtato-Prolific dataset for QUestion-Answering, Offensiveness, text Rewriting, and politeness rating with demographic Nuance). POPQUORN contains 45,000 annotations from 1,484 annotators, drawn from a representative sample regarding sex, age, and race as the US population. Through a series of analyses, we show that annotators’ background plays a significant role in their judgments. Further, our work shows that backgrounds not previously considered in NLP (e.g., education), are meaningful and should be considered. Our study suggests that understanding the background of annotators and collecting labels from a demographically balanced pool of crowd workers is important to reduce the bias of datasets. The dataset, annotator background, and annotation interface are available at https://github.com/Jiaxin-Pei/potato-prolific-dataset .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google