Cost-efficient Crowdsourcing for Span-based Sequence Labeling: Worker Selection and Data Augmentation

要約

本論文では、自然言語処理(NLP)における困難なスパンベースのシーケンスラベル付けタスクにおいて、アノテーション品質を向上させ、コストを削減する新しいワーカー選択アルゴリズムを紹介する。より単純なタスクを対象とした先行研究とは異なり、本研究ではシーケンスラベリングタスクにおけるラベルの相互依存の複雑さに対処している。提案するアルゴリズムは、ワーカーの選択にCombinatorial Multi-Armed Bandit (CMAB) アプローチを利用する。作業者選択のオフラインシミュレーションの妨げとなる、不均衡で小規模なデータセットを扱うという課題に対しては、shifting, expanding, and shrinking (SES) と呼ばれる革新的なデータ増強法を用いて対処する。SES法は、配列ラベリングタスクのために特別に設計されたものである。CoNLL 2003 NERとChinese OEIデータセットを用いた厳密なテストにより、このアルゴリズムの効率性が示され、F1スコアはエキスパートだけのベースラインの100.04%まで向上し、同時に65.97%までコストを削減することができました。また、データセットに依存しない、ベルヌーイ分布によるアノテーション評価をエミュレートするテストも実施し、専門家ベースラインの97.56%のF1スコアと59.88%のコスト削減という素晴らしい結果を得ることができました。この研究は、複雑なNLPタスクのための作業者選択における多くの障害に対処し、それを克服するものです。

要約(オリジナル)

This paper introduces a novel worker selection algorithm, enhancing annotation quality and reducing costs in challenging span-based sequence labeling tasks in Natural Language Processing (NLP). Unlike previous studies targeting simpler tasks, this study contends with the complexities of label interdependencies in sequence labeling tasks. The proposed algorithm utilizes a Combinatorial Multi-Armed Bandit (CMAB) approach for worker selection. The challenge of dealing with imbalanced and small-scale datasets, which hinders offline simulation of worker selection, is tackled using an innovative data augmentation method termed shifting, expanding, and shrinking (SES). The SES method is designed specifically for sequence labeling tasks. Rigorous testing on CoNLL 2003 NER and Chinese OEI datasets showcased the algorithm’s efficiency, with an increase in F1 score up to 100.04% of the expert-only baseline, alongside cost savings up to 65.97%. The paper also encompasses a dataset-independent test emulating annotation evaluation through a Bernoulli distribution, which still led to an impressive 97.56% F1 score of the expert baseline and 59.88% cost savings. This research addresses and overcomes numerous obstacles in worker selection for complex NLP tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL