Embracing Dialectic Intersubjectivity: Coordination of Different Perspectives in Content Analysis with LLM Persona Simulation

要約

本研究は、内容分析手法をコンセンサス志向から調整志向へと進化させることで、多様なコーディングアウトプットを受け入れ、異なる視点間のダイナミクスを探ることを試みる。このアプローチの探索的調査として、2020年の米国大統領選挙期間中にバイデンとトランプに関するFox NewsとMSNBCのトランスクリプトのセンチメントを分析するために6つのGPT-4o構成を評価し、これらのモデル間のパターンを検証する。各モデルのイデオロギー的観点との整合性を評価することで、LLM支援コンテンツ分析（LACA）において党派的選択処理がどのように識別され得るかを探る。その結果、党派的ペルソナのLLMは、政治的に一致したコンテンツを処理する際に、より強いイデオロギー的バイアスを示すことが明らかになった。さらに、コーダー間の信頼性は、党派を超えたペアと比較して、同じ党派のペルソナの方が高い。このアプローチは、LLM出力のニュアンス理解を強化し、AI主導の社会科学研究の整合性を高め、実社会への影響のシミュレーションを可能にする。

要約(オリジナル)

This study attempts to advancing content analysis methodology from consensus-oriented to coordination-oriented practices, thereby embracing diverse coding outputs and exploring the dynamics among differential perspectives. As an exploratory investigation of this approach, we evaluate six GPT-4o configurations to analyze sentiment in Fox News and MSNBC transcripts on Biden and Trump during the 2020 U.S. presidential campaign, examining patterns across these models. By assessing each model’s alignment with ideological perspectives, we explore how partisan selective processing could be identified in LLM-Assisted Content Analysis (LACA). Findings reveal that partisan persona LLMs exhibit stronger ideological biases when processing politically congruent content. Additionally, intercoder reliability is higher among same-partisan personas compared to cross-partisan pairs. This approach enhances the nuanced understanding of LLM outputs and advances the integrity of AI-driven social science research, enabling simulations of real-world implications.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL