The Perspectivist Paradigm Shift: Assumptions and Challenges of Capturing Human Labels

要約

機械学習における長年のデータラベル付けの実践には、複数のアノテーターからラベルを収集して集約することが含まれます。
しかし、アノテーターの意見が異なる場合はどうすればよいでしょうか?
アノテーターの意見の相違は最小限に抑えるべき問題だと長い間考えられてきましたが、新しいパースペクティビストのアプローチは、意見の相違を貴重な情報源として扱うことでこの仮定に疑問を投げかけています。
この意見書では、私たちは意見の相違の原因をめぐる実践と仮定（その一部は視点主義的なアプローチによって挑戦され、一部はまだ対処されていない）を検討するとともに、これらの仮定の下で作業を進めるための実践的かつ規範的な課題を検討します。
最後に、データのラベル付けパイプラインと、主観と意見の相違を伴う将来の研究への道についての推奨事項を述べます。

要約(オリジナル)

Longstanding data labeling practices in machine learning involve collecting and aggregating labels from multiple annotators. But what should we do when annotators disagree? Though annotator disagreement has long been seen as a problem to minimize, new perspectivist approaches challenge this assumption by treating disagreement as a valuable source of information. In this position paper, we examine practices and assumptions surrounding the causes of disagreement–some challenged by perspectivist approaches, and some that remain to be addressed–as well as practical and normative challenges for work operating under these assumptions. We conclude with recommendations for the data labeling pipeline and avenues for future research engaging with subjectivity and disagreement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google