Understanding and Predicting Human Label Variation in Natural Language Inference through Explanation

要約

タイトル: 自然言語推論における人間のラベルのバリエーションを説明することでの理解と予測

要約:
– 自然言語処理タスクにおいては、Plank（2022）によるように、人間のアノテーションの不一致が存在する。
– 耐久性が必要な言語モデルは、そのようなバリエーションを特定し、説明できる必要がある。
– このため、我々は、多様な推論を持つ生態学的に妥当な説明データセットであるLiveNLIを作成した。
– LiveNLIには、少なくとも10のアノテーションを持つ122の英語の自然言語推論項目のアノテーターのハイライトとフリーテキストの説明が含まれている。
– 我々は、その説明をチェーン・オブ・思考に促進するために使用し、GPT-3の能力を向上させる余地があることを発見した。

要約(オリジナル)

Human label variation (Plank 2022), or annotation disagreement, exists in many natural language processing (NLP) tasks. To be robust and trusted, NLP models need to identify such variation and be able to explain it. To this end, we created the first ecologically valid explanation dataset with diverse reasoning, LiveNLI. LiveNLI contains annotators’ highlights and free-text explanations for the label(s) of their choice for 122 English Natural Language Inference items, each with at least 10 annotations. We used its explanations for chain-of-thought prompting, and found there is still room for improvement in GPT-3’s ability to predict label distribution with in-context learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI