Prompt Selection Matters: Enhancing Text Annotations for Social Sciences with Large Language Models

要約

最近、大規模な言語モデルは、社会科学からのテキスト注釈タスクに適用され、一部のコストで人間の労働者のパフォーマンスに匹敵するか、それを上回っています。
ただし、ラベル付けの精度に対する迅速な選択の影響については、まだ調査されていません。
この研究では、パフォーマンスがプロンプト間で大きく異なることを示し、自動プロンプト最適化の方法を適用して、高品質のプロンプトを体系的に作成することを示しています。
また、https://prompt-ultra.github.io/でメソッドのシンプルなブラウザベースの実装をコミュニティに提供します。

要約(オリジナル)

Large Language Models have recently been applied to text annotation tasks from social sciences, equalling or surpassing the performance of human workers at a fraction of the cost. However, no inquiry has yet been made on the impact of prompt selection on labelling accuracy. In this study, we show that performance greatly varies between prompts, and we apply the method of automatic prompt optimization to systematically craft high quality prompts. We also provide the community with a simple, browser-based implementation of the method at https://prompt-ultra.github.io/ .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google