The Ecological Fallacy in Annotation: Modelling Human Label Variation goes beyond Sociodemographics

要約

多くの NLP タスクでは人間によるラベルの変動が見られ、異なるアノテーターが同じテキストに異なるラベルを付けます。
この変動は、少なくとも部分的にはアノテーターの社会人口統計に依存することが知られています。
最近の研究は、集約されたラベルを予測するのではなく、個々のアノテーターの行動をモデル化することを目的としており、社会人口統計情報がこれらのモデルに役立つことが期待されます。
一方、生態学的誤謬は、平均的な女性アノテーターの行動などの集合的なグループの行動が必ずしも個人の行動を説明するとは限りません。
個々のアノテーターの行動モデルにおける社会人口統計を説明するために、グループ固有のレイヤーをマルチアノテーター モデルに導入します。
有害なコンテンツの検出に関する一連の実験では、この方法で社会人口学的属性を明示的に考慮しても、モデルのパフォーマンスが大幅に向上しないことがわかりました。
この結果は、個人のアノテーション行動が単なる社会人口統計以上のものに依存していることを示しています。

要約(オリジナル)

Many NLP tasks exhibit human label variation, where different annotators give different labels to the same texts. This variation is known to depend, at least in part, on the sociodemographics of annotators. Recent research aims to model individual annotator behaviour rather than predicting aggregated labels, and we would expect that sociodemographic information is useful for these models. On the other hand, the ecological fallacy states that aggregate group behaviour, such as the behaviour of the average female annotator, does not necessarily explain individual behaviour. To account for sociodemographics in models of individual annotator behaviour, we introduce group-specific layers to multi-annotator models. In a series of experiments for toxic content detection, we find that explicitly accounting for sociodemographic attributes in this way does not significantly improve model performance. This result shows that individual annotation behaviour depends on much more than just sociodemographics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google