Quality and Efficiency of Manual Annotation: Pre-annotation Bias

要約

この論文では、中レベルのアノテーションの複雑さのタスクに対する自動事前アノテーション、つまり依存関係構文アノテーションを使用したアノテーションの分析について説明します。
これは、アノテーターが事前にアノテーションを付けたバージョン (高精度パーサーを使用) を使用して行ったアノテーション作業と、完全な手動アノテーションによって行われたアノテーション作業を比較します。
実験の目的は、事前アノテーションを使用した場合の最終的なアノテーションの品質を判断することです。
さらに、アノテーターが利用できる同じデータに対する言語ベースの (ルールに基づいた) 自動チェックと別のアノテーションの効果、およびアノテーションの品質と効率に対するそれらの影響を評価します。
実験により、事前アノテーションは、品質を低下させることなく、結果として得られるアノテーションの一貫性を高める、より高速な手動構文アノテーションのための効率的なツールであることが確認されました。

要約(オリジナル)

This paper presents an analysis of annotation using an automatic pre-annotation for a mid-level annotation complexity task — dependency syntax annotation. It compares the annotation efforts made by annotators using a pre-annotated version (with a high-accuracy parser) and those made by fully manual annotation. The aim of the experiment is to judge the final annotation quality when pre-annotation is used. In addition, it evaluates the effect of automatic linguistically-based (rule-formulated) checks and another annotation on the same data available to the annotators, and their influence on annotation quality and efficiency. The experiment confirmed that the pre-annotation is an efficient tool for faster manual syntactic annotation which increases the consistency of the resulting annotation without reducing its quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google