The Economics of Human Oversight: How Norms and Incentives Affect Costs and Performance of AI Workers

要約

AI アプリケーションの世界的な急増は業界を変革し、既存の仕事の置き換えや補完につながると同時に、新たな雇用の機会も生み出しています。
人間による AI の監視は、人間の作業者が AI モデルと対話して、パフォーマンス、安全性、規範原則への準拠を向上させる新たなタスクです。
画像のラベル付けやテキストの注釈付けを含むデータ注釈は、データセットの品質がその上でトレーニングされた AI モデルの品質に直接影響するため、人間による重要な監視プロセスとして機能します。
したがって、人間による監視作業の効率化は、AI 開発者にとって重要な競争上の優位性となります。
このペーパーでは、データの品質とコストに対する規範設計と金銭的インセンティブの影響に特に焦点を当てて、人間による監視の基礎的な経済学を詳しく掘り下げています。
307 人のデータ アノテーターが参加する実験研究では、タスクの指示 (規範) と金銭的インセンティブが異なる 6 つのグループを調査しました。
その結果、明確なルールを与えられたアノテーターはより高い精度率を示し、曖昧な基準を持つアノテーターよりも 14% 優れていることが明らかになりました。
同様に、追加の金銭的インセンティブを受け取ったアノテーターは、パフォーマンスが大幅に向上し、明確なルールとインセンティブの両方を使用して作業したグループで最高の精度率が記録されました (精度 87.5%)。
ただし、どちらのグループもタスクを完了するまでにより多くの時間を必要とし、標準を使用してインセンティブなしで作業したグループと比較して、タスクの平均完了時間は 31% 増加しました。
これらの実証結果は、データキュレーションにおけるデータの品質と効率の間のトレードオフを強調し、AI 開発の経済学に対する規範設計とインセンティブの微妙な影響を明らかにしています。
この論文は、AI テクノロジーの経済的、倫理的、法的考慮事項に関する議論に実験的な洞察を提供します。

要約(オリジナル)

The global surge in AI applications is transforming industries, leading to displacement and complementation of existing jobs, while also giving rise to new employment opportunities. Human oversight of AI is an emerging task in which human workers interact with an AI model to improve its performance, safety, and compliance with normative principles. Data annotation, encompassing the labelling of images or annotating of texts, serves as a critical human oversight process, as the quality of a dataset directly influences the quality of AI models trained on it. Therefore, the efficiency of human oversight work stands as an important competitive advantage for AI developers. This paper delves into the foundational economics of human oversight, with a specific focus on the impact of norm design and monetary incentives on data quality and costs. An experimental study involving 307 data annotators examines six groups with varying task instructions (norms) and monetary incentives. Results reveal that annotators provided with clear rules exhibit higher accuracy rates, outperforming those with vague standards by 14%. Similarly, annotators receiving an additional monetary incentive perform significantly better, with the highest accuracy rate recorded in the group working with both clear rules and incentives (87.5% accuracy). However, both groups require more time to complete tasks, with a 31% increase in average task completion time compared to those working with standards and no incentives. These empirical findings underscore the trade-off between data quality and efficiency in data curation, shedding light on the nuanced impact of norm design and incentives on the economics of AI development. The paper contributes experimental insights to discussions on the economical, ethical, and legal considerations of AI technologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google