Sensitivity, Performance, Robustness: Deconstructing the Effect of Sociodemographic Prompting

要約

アノテーターの社会人口学的背景 (つまり、性別、年齢、学歴などの個人構成) は、有害な言語の検出などの主観的な NLP タスクに取り組む際の決定に強い影響を与えます。
多くの場合、背景が異質なため、意見の相違が大きくなります。
この変動をモデル化するために、最近の研究では社会人口学的プロンプティング、つまり特定の社会人口学的プロファイルを持つ人間が与えるであろう回答に向けてプロンプトベースのモデルの出力を誘導する手法が研究されています。
ただし、入手可能な NLP 文献は、この手法の有効性について意見が一致していません。どのタスクやシナリオに役立つかは依然として不明であり、社会人口学的プロンプトにおける個々の要因の役割はまだ解明されていません。
私たちは、今日の社会人口学的プロンプトに関する最大かつ最も包括的な研究を提示することで、この研究ギャップに対処します。
私たちは、7 つのデータセットと 6 つの命令調整モデル ファミリにわたって、モデルの感度、パフォーマンス、堅牢性に対するその影響を分析します。
社会人口統計情報がモデルの予測に影響し、主観的な NLP タスクにおけるゼロショット学習の改善に有益である可能性があることを示します。
ただし、その結果はモデルの種類、サイズ、データセットによって大きく異なり、迅速な定式化に関しては大きな差異が生じる可能性があります。
最も重要なことは、我々の結果は、毒性のアノテーションや LLM アライメントを研究する場合など、機密性の高いアプリケーションでは、社会人口統計学的プロンプトを注意して使用する必要があることを示しています。
コードとデータ: https://github.com/UKPLab/arxiv2023-sociodemographic-prompting

要約(オリジナル)

Annotators’ sociodemographic backgrounds (i.e., the individual compositions of their gender, age, educational background, etc.) have a strong impact on their decisions when working on subjective NLP tasks, such as toxic language detection. Often, heterogeneous backgrounds result in high disagreements. To model this variation, recent work has explored sociodemographic prompting, a technique, which steers the output of prompt-based models towards answers that humans with specific sociodemographic profiles would give. However, the available NLP literature disagrees on the efficacy of this technique – it remains unclear for which tasks and scenarios it can help, and the role of the individual factors in sociodemographic prompting is still unexplored. We address this research gap by presenting the largest and most comprehensive study of sociodemographic prompting today. We analyze its influence on model sensitivity, performance and robustness across seven datasets and six instruction-tuned model families. We show that sociodemographic information affects model predictions and can be beneficial for improving zero-shot learning in subjective NLP tasks. However, its outcomes largely vary for different model types, sizes, and datasets, and are subject to large variance with regards to prompt formulations. Most importantly, our results show that sociodemographic prompting should be used with care for sensitive applications, such as toxicity annotation or when studying LLM alignment. Code and data: https://github.com/UKPLab/arxiv2023-sociodemographic-prompting

arxiv情報

提供元, 利用サービス

arxiv.jp, Google