Large Language Models are often politically extreme, usually ideologically inconsistent, and persuasive even in informational contexts

要約

大規模な言語モデル（LLM）は変革的な技術であり、人々が情報を取得し、世界と対話する方法を根本的に変えます。
人々が膨大な種類のタスクにますます依存するようになるにつれて、これらのモデル、特に政治的バイアスについてこれらのモデルを調べるために、多くの場合、それらが小さいことを発見するために、多くの学術研究が開発されました。
私たちはこの一般的な知恵に挑戦します。
第一に、31のLLMを議員、裁判官、および米国の有権者の全国的に代表的なサンプルと比較することにより、LLMの全体的な全体的な全体的な党派の好みは、中程度の有権者のように、特定のトピックに関する極端な見解を相殺することの純結果であることを示します。
第二に、ランダム化された実験では、LLMが情報を求める文脈においてさえ、LLMが政治的説得力に彼らの好みを公布することができることを示します。LLMチャットボットで政治的問題を議論するために無作為化された有権者は、そのチャットボットと同じ好みを表現する可能性が5パーセントポイントよりも高い。
期待に反して、これらの説得力のある影響は、LLMS、ニュース消費、または政治への関心に精通して緩和されていません。
LLMは、特に民間企業または政府によって管理されているものであり、政治的影響力の強力で標的を絞ったベクターになる可能性があります。

要約(オリジナル)

Large Language Models (LLMs) are a transformational technology, fundamentally changing how people obtain information and interact with the world. As people become increasingly reliant on them for an enormous variety of tasks, a body of academic research has developed to examine these models for inherent biases, especially political biases, often finding them small. We challenge this prevailing wisdom. First, by comparing 31 LLMs to legislators, judges, and a nationally representative sample of U.S. voters, we show that LLMs’ apparently small overall partisan preference is the net result of offsetting extreme views on specific topics, much like moderate voters. Second, in a randomized experiment, we show that LLMs can promulgate their preferences into political persuasiveness even in information-seeking contexts: voters randomized to discuss political issues with an LLM chatbot are as much as 5 percentage points more likely to express the same preferences as that chatbot. Contrary to expectations, these persuasive effects are not moderated by familiarity with LLMs, news consumption, or interest in politics. LLMs, especially those controlled by private companies or governments, may become a powerful and targeted vector for political influence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google