Rethinking Annotation: Can Language Learners Contribute?

要約

研究者は従来、広く使用されているベンチマーク データセットにアノテーションを提供するネイティブ スピーカーを採用してきました。
ただし、ネイティブ スピーカーを採用するのが難しい言語もあり、データに注釈を付けるためにそれらの言語の学習者を見つけるのに役立ちます。
この論文では、言語学習者がベンチマーク データセットにアノテーションを提供できるかどうかを調査します。
注意深く管理されたアノテーション実験では、36 人の言語学習者を募集し、2 種類の追加リソース (辞書と機械翻訳された文章) を提供し、言語能力を測定するミニテストを実行します。
英語、韓国語、インドネシア語の 3 つの言語と、感情分析、自然言語推論、固有表現認識、機械読解の 4 つの NLP タスクを対象としています。
言語学習者、特に中級または上級レベルの言語熟練度を持つ学習者は、追加のリソースの助けを借りて、かなり正確なラベルを提供できることがわかりました。
さらに、データの注釈が語彙と文法の点で学習者の言語能力を向上させることを示します。
私たちの調査結果が示唆することの 1 つは、アノテーション タスクの範囲を言語学習者にまで広げることで、ネイティブ スピーカーを採用するのが難しい言語のベンチマーク データセットを構築する機会が広がる可能性があるということです。

要約(オリジナル)

Researchers have traditionally recruited native speakers to provide annotations for widely used benchmark datasets. However, there are languages for which recruiting native speakers can be difficult, and it would help to find learners of those languages to annotate the data. In this paper, we investigate whether language learners can contribute annotations to benchmark datasets. In a carefully controlled annotation experiment, we recruit 36 language learners, provide two types of additional resources (dictionaries and machine-translated sentences), and perform mini-tests to measure their language proficiency. We target three languages, English, Korean, and Indonesian, and the four NLP tasks of sentiment analysis, natural language inference, named entity recognition, and machine reading comprehension. We find that language learners, especially those with intermediate or advanced levels of language proficiency, are able to provide fairly accurate labels with the help of additional resources. Moreover, we show that data annotation improves learners’ language proficiency in terms of vocabulary and grammar. One implication of our findings is that broadening the annotation task to include language learners can open up the opportunity to build benchmark datasets for languages for which it is difficult to recruit native speakers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google