Personas with Attitudes: Controlling LLMs for Diverse Data Annotation

要約

大規模言語モデル (LLM) をパーソナライズすることで、データ アノテーション タスクの多様性と制御を強化するための新しいアプローチを紹介します。
私たちは 2 つの研究にわたって、多様なペルソナの説明を LLM プロンプトに挿入した場合の影響を調査し、ペルソナがアノテーションの多様性を高めるかどうか、また結果として得られるアノテーションに対する個々のペルソナの影響が一貫していて制御可能であるかどうかを調査します。
私たちの結果は、ペルソナを使用してプロンプトされた LLM は、ペルソナを使用せずにプロンプ​​トを作成した LLM よりも多様なアノテーションを生成すること、およびこれらの効果は制御可能かつ再現可能であることを示しており、このため、私たちのアプローチは、毒性検出などの主観的な NLP タスクにおけるデータ アノテーションを改善するための適切なツールとなっています。

要約(オリジナル)

We present a novel approach for enhancing diversity and control in data annotation tasks by personalizing large language models (LLMs). We investigate the impact of injecting diverse persona descriptions into LLM prompts across two studies, exploring whether personas increase annotation diversity and whether the impacts of individual personas on the resulting annotations are consistent and controllable. Our results show that persona-prompted LLMs produce more diverse annotations than LLMs prompted without personas and that these effects are both controllable and repeatable, making our approach a suitable tool for improving data annotation in subjective NLP tasks like toxicity detection.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google