Improving Task Instructions for Data Annotators: How Clear Rules and Higher Pay Increase Performance in Data Annotation in the AI Economy

要約

AI アプリケーションの世界的な急増は業界を変革し、既存の仕事の置き換えや補完につながると同時に、新たな雇用の機会も生み出しています。
人間の作業者による画像のラベル付けやテキストの注釈付けを含むデータの注釈は、データセットの品質に決定的に影響を与え、その上でトレーニングされた AI モデルの品質に直接影響します。
このペーパーでは、タスク指示の設計 (つまり、法律と経済学で理論化されているルールと標準の選択) と金銭的インセンティブがデータの品質とコストに及ぼす影響に特に焦点を当てて、データ アノテーションの経済学を詳しく掘り下げます。
307 人のデータ アノテーターが参加する実験研究では、タスクの指示 (規範) と金銭的インセンティブが異なる 6 つのグループを調査しました。
その結果、明確なルールを与えられたアノテーターはより高い精度率を示し、曖昧な基準を持つアノテーターよりも 14% 優れていることが明らかになりました。
同様に、追加の金銭的インセンティブを受け取ったアノテーターは、パフォーマンスが大幅に向上し、明確なルールとインセンティブの両方を使用して作業したグループで最高の精度率が記録されました (精度 87.5%)。
さらに、私たちの結果は、アノテーターにとってルールは標準よりも役立つと認識されており、アノテーターが画像にアノテーションを付ける際の困難を軽減することを示しています。
これらの経験的発見は、ルールベースの指示がデータ品質と従業員の健康の両方に関して二重の利点をもたらすことを強調しています。
私たちの研究デザインにより、ルールの方が金銭的インセンティブよりも精度を高める費用効率が高いことが明らかになりました。
この論文は、AI テクノロジーの経済的、倫理的、法的考慮事項に関する議論に実験的な洞察を提供します。
私たちは政策立案者や実務者に向けて、効率的かつ倫理的な AI の開発と使用のためにデータ アノテーション プロセスを最適化するバランスの取れたアプローチの必要性を強調します。

要約(オリジナル)

The global surge in AI applications is transforming industries, leading to displacement and complementation of existing jobs, while also giving rise to new employment opportunities. Data annotation, encompassing the labelling of images or annotating of texts by human workers, crucially influences the quality of a dataset directly influences the quality of AI models trained on it. This paper delves into the economics of data annotation, with a specific focus on the impact of task instruction design (that is, the choice between rules and standards as theorised in law and economics) and monetary incentives on data quality and costs. An experimental study involving 307 data annotators examines six groups with varying task instructions (norms) and monetary incentives. Results reveal that annotators provided with clear rules exhibit higher accuracy rates, outperforming those with vague standards by 14%. Similarly, annotators receiving an additional monetary incentive perform significantly better, with the highest accuracy rate recorded in the group working with both clear rules and incentives (87.5% accuracy). In addition, our results show that rules are perceived as being more helpful by annotators than standards and reduce annotators’ difficulty in annotating images. These empirical findings underscore the double benefit of rule-based instructions on both data quality and worker wellbeing. Our research design allows us to reveal that, in our study, rules are more cost-efficient in increasing accuracy than monetary incentives. The paper contributes experimental insights to discussions on the economical, ethical, and legal considerations of AI technologies. Addressing policymakers and practitioners, we emphasise the need for a balanced approach in optimising data annotation processes for efficient and ethical AI development and usage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google