Large Language Models Reflect the Ideology of their Creators

要約

大規模な言語モデル（LLM）は、自然言語を生成するために膨大な量のデータでトレーニングされており、テキストの要約や質問応答などのタスクを実行できるようにします。
これらのモデルは、ChatGPTのような人工知能（AI）アシスタントで人気があり、人間が情報へのアクセス方法にすでに影響力のある役割を果たしています。
ただし、LLMSの動作は、設計、トレーニング、および使用によって異なります。
この論文では、国連の6つの公用語すべてにおいて、政治的関連性を持つ多数の著名な性格を説明するように、人気のあるLLMの多様なパネルを促します。
反応に反映された道徳的評価を特定して分析することにより、異なる地政学的領域からのLLMと、異なる言語で促された場合の同じLLMの応答間の規範的な違いを見つけます。
米国のモデルのみのうち、政治的見解における一般的に仮説的な格差は、進歩的価値に関連する重要な規範的な違いに反映されていることがわかります。
中国モデルの中で、国際的に焦点を当てたモデルと国際的に焦点を当てたモデル間の分裂を特徴付けます。
私たちの結果は、LLMのイデオロギー的スタンスがその作成者の世界観を反映しているように見えることを示しています。
これは、政治的手段化のリスクをもたらし、LLMSをイデオロギー的に「公平」にするという明確な目的で、技術的および規制上の努力に関する懸念を提起します。

要約(オリジナル)

Large language models (LLMs) are trained on vast amounts of data to generate natural language, enabling them to perform tasks like text summarization and question answering. These models have become popular in artificial intelligence (AI) assistants like ChatGPT and already play an influential role in how humans access information. However, the behavior of LLMs varies depending on their design, training, and use. In this paper, we prompt a diverse panel of popular LLMs to describe a large number of prominent personalities with political relevance, in all six official languages of the United Nations. By identifying and analyzing moral assessments reflected in their responses, we find normative differences between LLMs from different geopolitical regions, as well as between the responses of the same LLM when prompted in different languages. Among only models in the United States, we find that popularly hypothesized disparities in political views are reflected in significant normative differences related to progressive values. Among Chinese models, we characterize a division between internationally- and domestically-focused models. Our results show that the ideological stance of an LLM appears to reflect the worldview of its creators. This poses the risk of political instrumentalization and raises concerns around technological and regulatory efforts with the stated aim of making LLMs ideologically ‘unbiased’.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google