Analyzing Dataset Annotation Quality Management in the Wild

要約

データの品質は、正確で偏りのない信頼できる機械学習モデルをトレーニングし、その正しい評価を行うために非常に重要です。
しかし、最近の研究では、最先端のモデルのトレーニングと評価に使用される一般的なデータセットにも、無視できない量の誤ったアノテーション、バイアス、またはアノテーション アーティファクトが含まれていることが示されています。
アノテーション プロジェクトに関するベスト プラクティスとガイドラインが存在します。
しかし、私たちの知る限り、自然言語データセットを作成する際に実際に品質管理がどのように行われているか、またこれらの推奨事項が遵守されているかどうかについての大規模な分析はまだ行われていません。
したがって、まず文献に記載されているデータセット作成の推奨品質管理実践を調査して要約し、それらを適用する方法についての提案を提供します。
次に、テキスト データセットを紹介する 591 件の科学出版物のコーパスを編集し、アノテーターの管理、合意、裁定、データ検証などの品質関連の側面に注釈を付けます。
これらのアノテーションを使用して、品質管理が実際にどのように行われているかを分析します。
注釈付きの出版物の大部分では、良好または非常に良好な品質管理が適用されていることがわかりました。
しかし、私たちは作品の 30% の労力が標準以下にすぎないと考えています。
私たちの分析では、特にアノテーター間の合意を使用したり、アノテーションのエラー率を計算したりする場合によくあるエラーも示しています。

要約(オリジナル)

Data quality is crucial for training accurate, unbiased, and trustworthy machine learning models and their correct evaluation. Recent works, however, have shown that even popular datasets used to train and evaluate state-of-the-art models contain a non-negligible amount of erroneous annotations, bias or annotation artifacts. There exist best practices and guidelines regarding annotation projects. But to the best of our knowledge, no large-scale analysis has been performed as of yet on how quality management is actually conducted when creating natural language datasets and whether these recommendations are followed. Therefore, we first survey and summarize recommended quality management practices for dataset creation as described in the literature and provide suggestions on how to apply them. Then, we compile a corpus of 591 scientific publications introducing text datasets and annotate it for quality-related aspects, such as annotator management, agreement, adjudication or data validation. Using these annotations, we then analyze how quality management is conducted in practice. We find that a majority of the annotated publications apply good or very good quality management. However, we deem the effort of 30% of the works as only subpar. Our analysis also shows common errors, especially with using inter-annotator agreement and computing annotation error rates.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google