Uncovering Latent Arguments in Social Media Messaging by Employing LLMs-in-the-Loop Strategy

要約

ソーシャルメディアの普及により、世論を自動分析する手法の人気が急上昇しています。
教師あり手法はテキストの分類には優れていますが、ソーシャル メディアでのディスカッションの動的な性質により、焦点が常に移動するため、これらの手法には継続的な課題が生じています。
一方で、トピックモデリングなど、公の議論からテーマを抽出するための従来の教師なし手法では、特定のニュアンスを捉えられない可能性のある包括的なパターンが明らかになることがよくあります。
その結果、ソーシャルメディアの言説に関する研究のかなりの部分は依然として、時間とコストの両方がかかる、労働集約的な手動コーディング技術と人間参加型のアプローチに依存しています。
この研究では、特定のテーマに関連する議論を発見するという問題を研究します。
私たちは、大規模言語モデル (LLM) の高度な機能を活用して、ソーシャル メディア メッセージングから潜在的な議論を抽出する、汎用的な LLM インザループ戦略を提案します。
私たちのアプローチを実証するために、議論の多いトピックにフレームワークを適用します。
私たちは 2 つの公開されているデータセットを使用します: (1) 25 のテーマを持つ 14,000 個の Facebook 広告の気候キャンペーン データセット、(2) 14 テーマを持つ 9,000 個の Facebook 広告の COVID-19 ワクチン キャンペーン データセット。
さらに、気候に関する議論の論点を活用して、スタンス予測として下流のタスクを設計します。
さらに、人口統計上のターゲティングと現実世界の出来事に基づいたメッセージングの適応を分析します。

要約(オリジナル)

The widespread use of social media has led to a surge in popularity for automated methods of analyzing public opinion. Supervised methods are adept at text categorization, yet the dynamic nature of social media discussions poses a continual challenge for these techniques due to the constant shifting of the focus. On the other hand, traditional unsupervised methods for extracting themes from public discourse, such as topic modeling, often reveal overarching patterns that might not capture specific nuances. Consequently, a significant portion of research into social media discourse still depends on labor-intensive manual coding techniques and a human-in-the-loop approach, which are both time-consuming and costly. In this work, we study the problem of discovering arguments associated with a specific theme. We propose a generic LLMs-in-the-Loop strategy that leverages the advanced capabilities of Large Language Models (LLMs) to extract latent arguments from social media messaging. To demonstrate our approach, we apply our framework to contentious topics. We use two publicly available datasets: (1) the climate campaigns dataset of 14k Facebook ads with 25 themes and (2) the COVID-19 vaccine campaigns dataset of 9k Facebook ads with 14 themes. Additionally, we design a downstream task as stance prediction by leveraging talking points in climate debates. Furthermore, we analyze demographic targeting and the adaptation of messaging based on real-world events.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google