Annotation Imputation to Individualize Predictions: Initial Studies on Distribution Dynamics and Model Predictions

要約

クラウドソーシングを介してデータに注釈を付けるには、時間と費用がかかります。
これらのコストのため、データセット作成者は多くの場合、各アノテーターにデータの小さなサブセットのみをラベル付けします。
これにより、少数のアノテーターによってマークされた例を含むまばらなデータセットが生成されます。
このプロセスの欠点は、アノテーターが特定の例にラベルを付けることができない場合、それに対する彼らの視点が失われることです。
これは、単一の正しいラベルがない主観的な NLP データセットの場合に特に懸念されます。人々は異なる有効な意見を持っている可能性があります。
したがって、代入手法を使用してすべての例に対するすべてのアノテーターの意見を生成し、どのアノテーターの見解も取り残さないデータセットを作成することを提案します。
次に、代入されたデータセットのデータを使用してモデルをトレーニングしてプロンプトを作成し、応答と個々のアノテーションの分布についての予測を行います。
結果の分析では、補完方法の選択がソフト ラベルの変更と分布に大きな影響を与えることがわかりました。
代入により元のデータセットの予測にノイズが導入されますが、プロンプトのショット、特に応答率の低いアノテーターのショットを強化する可能性が示されています。
私たちはすべてのコードとデータを公開しています。

要約(オリジナル)

Annotating data via crowdsourcing is time-consuming and expensive. Due to these costs, dataset creators often have each annotator label only a small subset of the data. This leads to sparse datasets with examples that are marked by few annotators. The downside of this process is that if an annotator doesn’t get to label a particular example, their perspective on it is missed. This is especially concerning for subjective NLP datasets where there is no single correct label: people may have different valid opinions. Thus, we propose using imputation methods to generate the opinions of all annotators for all examples, creating a dataset that does not leave out any annotator’s view. We then train and prompt models, using data from the imputed dataset, to make predictions about the distribution of responses and individual annotations. In our analysis of the results, we found that the choice of imputation method significantly impacts soft label changes and distribution. While the imputation introduces noise in the prediction of the original dataset, it has shown potential in enhancing shots for prompts, particularly for low-response-rate annotators. We have made all of our code and data publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google