Beyond prompt brittleness: Evaluating the reliability and consistency of political worldviews in LLMs

要約

ユビキタス システムでは大規模言語モデル (LLM) が広く使用されているため、LLM に特定の世界観が埋め込まれているかどうか、またそれらのビューが何を反映しているかを理解する必要があります。
最近の研究では、政治的アンケートをきっかけに、LLM は左派リベラルの傾向を示すことが報告されています。
しかし、これらの傾向が信頼できるかどうか（変化を促すのに強いかどうか）、またその傾向が政策や政治的傾向全体にわたって一貫しているかどうかはまだ不明です。
我々は、EU 7 か国から収集され、政策領域について注釈が付けられた投票勧告アンケートのデータセットに基づいて、政治的発言に対する LLM のスタンスの信頼性と一貫性を評価する一連のテストを提案します。
私たちは、7B から 70B パラメータのサイズの LLM を研究し、その信頼性がパラメータ数とともに増加することを発見しました。
より大きなモデルは、全体的に左派政党とのより強い連携を示しているが、政策プログラムごとに異なる。それらは、環境保護、社会福祉だけでなく、（右派）法と秩序に対しても（左派の）積極的な姿勢を示しており、外国政策に一貫した選好はない。
政策、移民、経済。

要約(オリジナル)

Due to the widespread use of large language models (LLMs) in ubiquitous systems, we need to understand whether they embed a specific worldview and what these views reflect. Recent studies report that, prompted with political questionnaires, LLMs show left-liberal leanings. However, it is as yet unclear whether these leanings are reliable (robust to prompt variations) and whether the leaning is consistent across policies and political leaning. We propose a series of tests which assess the reliability and consistency of LLMs’ stances on political statements based on a dataset of voting-advice questionnaires collected from seven EU countries and annotated for policy domains. We study LLMs ranging in size from 7B to 70B parameters and find that their reliability increases with parameter count. Larger models show overall stronger alignment with left-leaning parties but differ among policy programs: They evince a (left-wing) positive stance towards environment protection, social welfare but also (right-wing) law and order, with no consistent preferences in foreign policy, migration, and economy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google