Correcting Annotator Bias in Training Data: Population-Aligned Instance Replication (PAIR)

要約

クラウドソーシングされたラベルで訓練されたモデルは、アノテーターとして働く人々は人口を表していないため、より広い人口見解を反映していない可能性があります。
人口に合ったインスタンス複製（ペア）を提案します。これは、非代表的なアノテータープールによって引き起こされるバイアスに対処する方法です。
攻撃的な言語とヘイトスピーチのシミュレーション調査を使用して、異なるラベル付け傾向を持つ2種類のアノテーターを作成し、タイプの割合がさまざまなデータセットを生成します。
不均衡なアノテータープールでトレーニングされたモデルは、代表的なデータでトレーニングされたものと比較して、キャリブレーションが不十分であることを観察します。
人口の割合に合わせて過小評価されているアノテーターグループからラベルを複製することにより、ペアは追加の注釈を収集せずにバイアスを減らします。
これらの結果は、調査研究の統計的手法がモデルのパフォーマンスを改善できることを示唆しています。
トレーニングデータとモデルのパフォーマンスの代表性を改善するための実用的な推奨事項で締めくくります。

要約(オリジナル)

Models trained on crowdsourced labels may not reflect broader population views, because those who work as annotators do not represent the population. We propose Population-Aligned Instance Replication (PAIR), a method to address bias caused by non-representative annotator pools. Using a simulation study of offensive language and hate speech, we create two types of annotators with different labeling tendencies and generate datasets with varying proportions of the types. We observe that models trained on unbalanced annotator pools show poor calibration compared to those trained on representative data. By duplicating labels from underrepresented annotator groups to match population proportions, PAIR reduces bias without collecting additional annotations. These results suggest that statistical techniques from survey research can improve model performance. We conclude with practical recommendations for improving the representativity of training data and model performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google