Quantifying the Persona Effect in LLM Simulations

要約

大規模言語モデル (LLM) は、人間の言語使用と行動をシミュレートする上で顕著な可能性を示しています。
この研究では、ペルソナ変数の交差と、さまざまな視点をシミュレートする LLM の機能を詳しく調べます。
既存の主観的な NLP データセットにおけるアノテーションの 10\% 未満の分散は、ペルソナ変数によって説明できることがわかりました。
それにもかかわらず、LLM のプロンプト経由でこれらを組み込むと、わずかな改善が得られます。
ペルソナ プロンプトは、アノテーター間の意見の相違が頻繁にあるものの、限られた範囲に限定されているデータ サンプルで最も効果的です。
線形相関が存在します。つまり、より多くのペルソナ変数が人間のアノテーションに影響を与えるほど、ペルソナ プロンプトを使用した LLM 予測がより適切になります。
ただし、ペルソナ変数の有用性が低い場合 (つまり、人間による注釈の 10% 未満を説明する場合)、ペルソナ プロンプトはほとんど効果がありません。
ほとんどの主観的な NLP データセットはこのカテゴリに分類され、現在の NLP 環境における多様な視点をシミュレートすることに疑問を投げかけています。

要約(オリジナル)

Large language models (LLMs) have shown remarkable promise in simulating human language use and behavior. In this study, we delve into the intersection of persona variables and the capability of LLMs to simulate different perspectives. We find that persona variables can explain <10\% variance in annotations in existing subjective NLP datasets. Nonetheless, incorporating them via prompting in LLMs provides modest improvement. Persona prompting is most effective on data samples where disagreements among annotators are frequent yet confined to a limited range. A linear correlation exists: the more persona variables influence human annotations, the better LLMs predictions are using persona prompting. However, when the utility of persona variables is low (i.e., explaining <10\% of human annotations), persona prompting has little effect. Most subjective NLP datasets fall into this category, casting doubt on simulating diverse perspectives in the current NLP landscape.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google