Susceptibility to Influence of Large Language Models

要約

2 つの研究では、Large Language Model (LLM) を使用して、影響力のあるインプットにさらされた後の心理的変化をモデル化できるという仮説が検証されました。
最初の研究では、影響の一般的なモードである Illusory Truth Effect (ITE) をテストしました。これは、声明への早い段階での露出 (たとえば、その関心を評価することによって) が後の真実性テストの評価を押し上げます。
データは、オンライン実験を使用して 1000 人の人間の参加者から収集され、設計されたプロンプトと LLM 完了を使用して 1000 人のシミュレートされた参加者から収集されました。
参加者ごとに 64 の評価が収集され、真実、関心、感情、および重要性という属性の露出テストのすべての組み合わせが使用されました。
人間の参加者の結果は、ITE を再確認し、真実以外の属性、および同じ属性が露出とテストに使用された場合に効果がないことを示しました。
LLMでシミュレートされた参加者についても、同じパターンの効果が見つかりました。
2 番目の研究は、特定の影響力の様式に関するものです。ニュースの説得力と政治的動員を高めるためのポピュリストによるニュースの枠組みです。
LLM でシミュレートされた参加者からのデータが収集され、7286 人の参加者に対する 15 か国の実験から以前に公開されたデータと比較されました。
人間を対象とした研究で以前に実証されたいくつかの効果は、シミュレートされた研究によって再現されました。これには、人間を対象とした研究の著者らの理論的期待と矛盾することで驚いた効果も含まれます (ニュースの反移民的なフレーミングは、説得力と動員を低下させます)。
しかし、人間のデータに見られるいくつかの重要な関係（参加者の相対的剥奪に応じたポピュリストフレーミングの有効性の変調）は、LLMデータには存在しませんでした。
この 2 つの研究は、LLM が影響力のモデルとして機能する可能性があるという見解を支持しています。

要約(オリジナル)

Two studies tested the hypothesis that a Large Language Model (LLM) can be used to model psychological change following exposure to influential input. The first study tested a generic mode of influence – the Illusory Truth Effect (ITE) – where earlier exposure to a statement (through, for example, rating its interest) boosts a later truthfulness test rating. Data was collected from 1000 human participants using an online experiment, and 1000 simulated participants using engineered prompts and LLM completion. 64 ratings per participant were collected, using all exposure-test combinations of the attributes: truth, interest, sentiment and importance. The results for human participants reconfirmed the ITE, and demonstrated an absence of effect for attributes other than truth, and when the same attribute is used for exposure and test. The same pattern of effects was found for LLM-simulated participants. The second study concerns a specific mode of influence – populist framing of news to increase its persuasion and political mobilization. Data from LLM-simulated participants was collected and compared to previously published data from a 15-country experiment on 7286 human participants. Several effects previously demonstrated from the human study were replicated by the simulated study, including effects that surprised the authors of the human study by contradicting their theoretical expectations (anti-immigrant framing of news decreases its persuasion and mobilization); but some significant relationships found in human data (modulation of the effectiveness of populist framing according to relative deprivation of the participant) were not present in the LLM data. Together the two studies support the view that LLMs have potential to act as models of the effect of influence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google