Let Guidelines Guide You: A Prescriptive Guideline-Centered Data Annotation Methodology

要約

各データ サンプルに関連付けられたアノテーション ガイドラインをレポートするように設計された新しいデータ アノテーション手法である、ガイドライン中心のアノテーション手法 (GCAM) を紹介します。
私たちのアプローチは、アノテーション中の情報損失を軽減し、ガイドラインを確実に遵守することにより、標準的な規範的なアノテーション方法論の 3 つの重要な制限に対処します。
さらに、GCAM を使用すると、複数のタスクにわたって注釈付きデータを効率的に再利用できます。
私たちは GCAM を 2 つの方法で評価します: (i) 人間によるアノテーション研究によるもの、および (ii) いくつかの機械学習モデルによる実験による評価。
私たちの結果は、複数の観点から GCAM の利点を強調し、アノテーションの品質とエラー分析を向上させる可能性を示しています。

要約(オリジナル)

We introduce the Guideline-Centered Annotation Methodology (GCAM), a novel data annotation methodology designed to report the annotation guidelines associated with each data sample. Our approach addresses three key limitations of the standard prescriptive annotation methodology by reducing the information loss during annotation and ensuring adherence to guidelines. Furthermore, GCAM enables the efficient reuse of annotated data across multiple tasks. We evaluate GCAM in two ways: (i) through a human annotation study and (ii) an experimental evaluation with several machine learning models. Our results highlight the advantages of GCAM from multiple perspectives, demonstrating its potential to improve annotation quality and error analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google