Measurement in the Age of LLMs: An Application to Ideological Scaling

要約

社会科学の多くは「イデオロギー」や「権力」などの用語を中心にしていますが、これらは一般に正確な定義が難しく、文脈上の意味が周囲の言語に閉じ込められています。
この論文では、社会科学的な測定タスクに固有の概念的な混乱を柔軟にナビゲートするための大規模言語モデル (LLM) の使用について検討します。
私たちは、確立された方法と私たち自身の判断に密接に一致する立法者と文書の両方のイデオロギースケールを引き出すために、LLMの驚くべき言語の流暢さに依存しています。
私たちのアプローチの重要な側面は、そのようなスコアを直接導き出し、LLM に数値スコア自体を提供するように指示することです。
このアプローチにより大きな柔軟性が得られ、さまざまなケーススタディを通じてそれを紹介します。
私たちの結果は、LLM を使用して、テキスト内の政治イデオロギーの非常に微妙で拡散した表現を特徴付けることができることを示唆しています。

要約(オリジナル)

Much of social science is centered around terms like “ideology” or “power”, which generally elude precise definition, and whose contextual meanings are trapped in surrounding language. This paper explores the use of large language models (LLMs) to flexibly navigate the conceptual clutter inherent to social scientific measurement tasks. We rely on LLMs’ remarkable linguistic fluency to elicit ideological scales of both legislators and text, which accord closely to established methods and our own judgement. A key aspect of our approach is that we elicit such scores directly, instructing the LLM to furnish numeric scores itself. This approach affords a great deal of flexibility, which we showcase through a variety of different case studies. Our results suggest that LLMs can be used to characterize highly subtle and diffuse manifestations of political ideology in text.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google