End-to-End Annotator Bias Approximation on Crowdsourced Single-Label Sentiment Analysis

要約

感情分析は多くの場合、多くのアノテーターによって主観的なラベルが付けられがちなクラウドソーシング タスクです。
各アノテーターのアノテーションバイアスを最先端の方法でどのように正しくモデル化できるかはまだ完全には理解されていません。
ただし、アノテーターのバイアスを正確かつ確実に解決することが、アノテーターのラベル付け動作を理解し、アノテーション タスクに関する対応する個人の誤解や不正行為をうまく解決するための鍵となります。
私たちの貢献は、正確なニューラル エンドツーエンド バイアス モデリングとグラウンド トゥルース推定の説明と改善であり、これにより、既存の最先端技術に関する望ましくない不一致が軽減されます。
分類実験によると、各サンプルに 1 人のアノテーターのみがアノテーションを付けている場合、精度が向上する可能性があります。
私たちはソース コード全体を公開し、オーガニック食品について説明した 10,000 文を含む独自のドメイン固有のセンチメント データセットをリリースします。
これらはソーシャル メディアからクロールされ、10 人の非専門アノテーターによって個別にラベルが付けられます。

要約(オリジナル)

Sentiment analysis is often a crowdsourcing task prone to subjective labels given by many annotators. It is not yet fully understood how the annotation bias of each annotator can be modeled correctly with state-of-the-art methods. However, resolving annotator bias precisely and reliably is the key to understand annotators’ labeling behavior and to successfully resolve corresponding individual misconceptions and wrongdoings regarding the annotation task. Our contribution is an explanation and improvement for precise neural end-to-end bias modeling and ground truth estimation, which reduces an undesired mismatch in that regard of the existing state-of-the-art. Classification experiments show that it has potential to improve accuracy in cases where each sample is annotated only by one single annotator. We provide the whole source code publicly and release an own domain-specific sentiment dataset containing 10,000 sentences discussing organic food products. These are crawled from social media and are singly labeled by 10 non-expert annotators.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google