Quality Assured: Rethinking Annotation Strategies in Imaging AI

要約

この論文では新しい方法については説明しません。
その代わりに、信頼性の高いベンチマークと、最終的には AI ベースの画像分析の実世界への応用、つまり高品質の参照アノテーションの生成に不可欠な基盤を研究します。
これまでの研究は、アノテーションをアウトソーシングする手段としてクラウドソーシングに焦点を当てていました。
しかし、これまでのところ、アノテーション企業、特に内部品質保証 (QA) プロセスに関してはほとんど注目されていません。
したがって、私たちの目的は、アノテーション会社が採用する QA がアノテーションの品質に与える影響を評価し、データ アノテーションの効果を最大化するための方法論を考案することです。
アノテーション会社 4 社と Amazon Mechanical Turk (MTurk) の合計 924 人のアノテーターと 34 人の QA ワーカーから取得した合計 57,648 個のインスタンスのセグメント化画像に基づいて、次の洞察を導き出しました。 (1) アノテーション会社は量の両方の点で優れたパフォーマンスを示しています。
広く使用されているプラ​​ットフォーム MTurk と比較した品質。
(2) アノテーション会社の内部 QA は、たとえあったとしてもわずかな改善しか提供しません。
ただし、QA に投資する代わりにラベル付け手順を改善すると、アノテーションのパフォーマンスが大幅に向上します。
(3) 内部 QA の利点は、特定の画像の特性によって異なります。
私たちの取り組みにより、研究者は固定のアノテーション予算から大幅に多くの価値を引き出し、アノテーション企業が内部 QA を実施する方法を変えることができる可能性があります。

要約(オリジナル)

This paper does not describe a novel method. Instead, it studies an essential foundation for reliable benchmarking and ultimately real-world application of AI-based image analysis: generating high-quality reference annotations. Previous research has focused on crowdsourcing as a means of outsourcing annotations. However, little attention has so far been given to annotation companies, specifically regarding their internal quality assurance (QA) processes. Therefore, our aim is to evaluate the influence of QA employed by annotation companies on annotation quality and devise methodologies for maximizing data annotation efficacy. Based on a total of 57,648 instance segmented images obtained from a total of 924 annotators and 34 QA workers from four annotation companies and Amazon Mechanical Turk (MTurk), we derived the following insights: (1) Annotation companies perform better both in terms of quantity and quality compared to the widely used platform MTurk. (2) Annotation companies’ internal QA only provides marginal improvements, if any. However, improving labeling instructions instead of investing in QA can substantially boost annotation performance. (3) The benefit of internal QA depends on specific image characteristics. Our work could enable researchers to derive substantially more value from a fixed annotation budget and change the way annotation companies conduct internal QA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google