Uncovering Latent Arguments in Social Media Messaging by Employing LLMs-in-the-Loop Strategy

要約

ソーシャルメディアの広範な使用は、世論を分析する自動化された方法の人気を急増させました。
監視された方法はテキストの分類に熟達していますが、ソーシャルメディアの議論の動的な性質は、焦点の絶え間ないシフトのためにこれらの手法に継続的な課題をもたらします。
一方、トピックモデリングなどの公の言説からテーマを抽出するための従来の監視されていない方法は、特定のニュアンスをキャプチャしない可能性のある包括的なパターンを明らかにします。
その結果、ソーシャルメディアの談話の研究のかなりの部分は、労働集約的なマニュアルコーディング技術と、時間がかかり、費用がかかる人間のループアプローチに依存しています。
この作業では、特定のテーマに関連する議論を発見する問題を研究します。
大規模な言語モデル（LLM）の高度な機能を活用して、ソーシャルメディアメッセージから潜在的な議論を抽出する一般的なLLMS-in-the-Loop戦略を提案します。
アプローチを実証するために、フレームワークを異議を唱えるトピックに適用します。
2つの公開データセットを使用します。（1）25のテーマを備えた14K Facebook広告の気候キャンペーンデータセットと（2）14テーマの9K Facebook広告のCovid-19ワクチンキャンペーンデータセット。
さらに、気候の議論で話題を活用することにより、スタンス予測として下流タスクを設計します。
さらに、実際のイベントに基づいて、人口統計学的ターゲティングとメッセージングの適応を分析します。

要約(オリジナル)

The widespread use of social media has led to a surge in popularity for automated methods of analyzing public opinion. Supervised methods are adept at text categorization, yet the dynamic nature of social media discussions poses a continual challenge for these techniques due to the constant shifting of the focus. On the other hand, traditional unsupervised methods for extracting themes from public discourse, such as topic modeling, often reveal overarching patterns that might not capture specific nuances. Consequently, a significant portion of research into social media discourse still depends on labor-intensive manual coding techniques and a human-in-the-loop approach, which are both time-consuming and costly. In this work, we study the problem of discovering arguments associated with a specific theme. We propose a generic LLMs-in-the-Loop strategy that leverages the advanced capabilities of Large Language Models (LLMs) to extract latent arguments from social media messaging. To demonstrate our approach, we apply our framework to contentious topics. We use two publicly available datasets: (1) the climate campaigns dataset of 14k Facebook ads with 25 themes and (2) the COVID-19 vaccine campaigns dataset of 9k Facebook ads with 14 themes. Additionally, we design a downstream task as stance prediction by leveraging talking points in climate debates. Furthermore, we analyze demographic targeting and the adaptation of messaging based on real-world events.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google