Discovering Latent Themes in Social Media Messaging: A Machine-in-the-Loop Approach Integrating LLMs

要約

ソーシャル メディア コンテンツのテーマを把握することは、世論や行動に影響を与える物語を理解するための鍵となります。
このテーマ分析は、最も広範なパターンのみを捉えることが多い従来のトピックレベルの分析を超えており、「ワクチン接種に対する国民の感情」や「気候政策をめぐる政治的言説」など、具体的で実行可能なテーマについてのより深い洞察を提供します。 この論文では、
私たちは、ソーシャル メディア メッセージングの潜在的なテーマを明らかにするための新しいアプローチを紹介します。
包括的なパターンのみを捉える傾向にある従来のトピックレベルの分析の限界を認識したこの研究では、よりきめの細かい、テーマに焦点を当てた調査の必要性を強調しています。
従来のテーマ発見方法には通常、手動プロセスと人間参加型のアプローチが含まれます。
これらの方法は価値がありますが、スケーラビリティ、一貫性、時間とコストの面でのリソース集中の点で課題に直面しています。
これらの課題に対処するために、大規模言語モデル (LLM) の高度な機能を活用するマシンインザループ アプローチを提案します。
私たちのアプローチを実証するために、気候変動の議論やワクチンの議論など、論争の多いトピックにフレームワークを適用します。
私たちは 2 つの公的に利用可能なデータセットを使用します: (1) 21,000 個の Facebook 広告の気候キャンペーン データセット、および (2) 9,000 個の Facebook 広告の COVID-19 ワクチン キャンペーン データセット。
当社の定量的および定性的分析により、当社の方法論がベースラインと比較してより正確で解釈可能な結果が得られることが示されています。
私たちの結果は、潜在的なテーマを明らかにする際のアプローチの有効性を実証するだけでなく、これらのテーマがソーシャルメディアの文脈で人口統計上のターゲティングにどのように適合するかを明らかにします。
さらに、私たちの研究はソーシャルメディアの動的な性質に光を当て、現実世界の出来事に応じてメッセージングの主題の焦点が変化していることを明らかにしています。

要約(オリジナル)

Grasping the themes of social media content is key to understanding the narratives that influence public opinion and behavior. The thematic analysis goes beyond traditional topic-level analysis, which often captures only the broadest patterns, providing deeper insights into specific and actionable themes such as ‘public sentiment towards vaccination’, ‘political discourse surrounding climate policies,’ etc. In this paper, we introduce a novel approach to uncovering latent themes in social media messaging. Recognizing the limitations of the traditional topic-level analysis, which tends to capture only overarching patterns, this study emphasizes the need for a finer-grained, theme-focused exploration. Traditional theme discovery methods typically involve manual processes and a human-in-the-loop approach. While valuable, these methods face challenges in scalability, consistency, and resource intensity in terms of time and cost. To address these challenges, we propose a machine-in-the-loop approach that leverages the advanced capabilities of Large Language Models (LLMs). To demonstrate our approach, we apply our framework to contentious topics, such as climate debate and vaccine debate. We use two publicly available datasets: (1) the climate campaigns dataset of 21k Facebook ads and (2) the COVID-19 vaccine campaigns dataset of 9k Facebook ads. Our quantitative and qualitative analysis shows that our methodology yields more accurate and interpretable results compared to the baselines. Our results not only demonstrate the effectiveness of our approach in uncovering latent themes but also illuminate how these themes are tailored for demographic targeting in social media contexts. Additionally, our work sheds light on the dynamic nature of social media, revealing the shifts in the thematic focus of messaging in response to real-world events.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google