LLM-POTUS Score: A Framework of Analyzing Presidential Debates with Large Language Models

要約

大規模言語モデルは、自然言語処理において顕著な能力を実証していますが、政治的言説分析への応用はまだ十分に検討されていません。
この論文では、LLM を使用して大統領討論会の成績を評価する新しいアプローチを紹介し、討論会の結果を客観的に評価するという長年の課題に取り組みます。
私たちは、候補者の「政策、ペルソナ、視点」（3P）と、それらが有権者、企業、寄付者、政治家という4つの主要な聴衆グループの「利益、イデオロギー、アイデンティティ」（3I）とどのように共鳴するかを分析するフレームワークを提案します。
。
私たちの手法では、大規模な言語モデルを使用して、3P と 3I の調整に基づくディベートのパフォーマンスの定量的尺度である LLM-POTUS スコアを生成します。
私たちはこのフレームワークを最近の米国大統領討論会の記録を分析するために適用し、候補者のパフォーマンスについて微妙な多面的な評価を提供できることを実証しました。
私たちの結果は、さまざまなディベート戦略の有効性と、さまざまな視聴者層に対するその戦略の影響についての洞察を明らかにします。
この研究は、政治分析のための新しいツールを提供するだけでなく、複雑な社会的状況において公平な裁判官としてLLMを使用する可能性と限界についても調査しています。
さらに、この枠組みは個々の国民に大統領討論会の成績を評価するための独立したツールを提供し、これにより民主主義への関与が強化され、潜在的に偏ったメディア解釈や制度的影響への依存が軽減され、それによって情報に基づいた市民参加の基盤が強化される。

要約(オリジナル)

Large language models have demonstrated remarkable capabilities in natural language processing, yet their application to political discourse analysis remains underexplored. This paper introduces a novel approach to evaluating presidential debate performances using LLMs, addressing the longstanding challenge of objectively assessing debate outcomes. We propose a framework that analyzes candidates’ ‘Policies, Persona, and Perspective’ (3P) and how they resonate with the ‘Interests, Ideologies, and Identity’ (3I) of four key audience groups: voters, businesses, donors, and politicians. Our method employs large language models to generate the LLM-POTUS Score, a quantitative measure of debate performance based on the alignment between 3P and 3I. We apply this framework to analyze transcripts from recent U.S. presidential debates, demonstrating its ability to provide nuanced, multi-dimensional assessments of candidate performances. Our results reveal insights into the effectiveness of different debating strategies and their impact on various audience segments. This study not only offers a new tool for political analysis but also explores the potential and limitations of using LLMs as impartial judges in complex social contexts. In addition, this framework provides individual citizens with an independent tool to evaluate presidential debate performances, which enhances democratic engagement and reduces reliance on potentially biased media interpretations and institutional influence, thereby strengthening the foundation of informed civic participation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google