Extracting Affect Aggregates from Longitudinal Social Media Data with Temporal Adapters for Large Language Models

要約

この論文では、ソーシャル メディア データを長期的に分析するためのツールとして、時間的に整列された大規模言語モデル (LLM) を提案します。
私たちは英国の Twitter ユーザーのパネルからの完全なタイムラインで Llama 3 8B の時間アダプターを微調整し、確立されたアンケートを使用して感情と態度の長期的な集計を抽出します。
私たちは、世論と集団感情に強い影響を与えた新型コロナウイルス感染症のパンデミックの始まりに焦点を当てて分析しています。
私たちは英国の代表的な調査データと照らし合わせて推定値を検証し、いくつかの集団感情について強い正の有意な相関関係を発見しました。
得られた推定値は、複数のトレーニング シードとプロンプト定式化にわたって堅牢であり、ラベル付きデータでトレーニングされた従来の分類モデルを使用して抽出された集合的感情と一致しています。
事前にトレーニングされた分類器が利用できない世論の質問に対するこの方法の柔軟性を実証します。
私たちの研究は、LLM における感情の分析を、時間アダプターを介して長期的な設定に拡張します。
これにより、ソーシャル メディア データの長期的な分析に対する柔軟で新しいアプローチが可能になります。

要約(オリジナル)

This paper proposes temporally aligned Large Language Models (LLMs) as a tool for longitudinal analysis of social media data. We fine-tune Temporal Adapters for Llama 3 8B on full timelines from a panel of British Twitter users, and extract longitudinal aggregates of emotions and attitudes with established questionnaires. We focus our analysis on the beginning of the COVID-19 pandemic that had a strong impact on public opinion and collective emotions. We validate our estimates against representative British survey data and find strong positive, significant correlations for several collective emotions. The obtained estimates are robust across multiple training seeds and prompt formulations, and in line with collective emotions extracted using a traditional classification model trained on labeled data. We demonstrate the flexibility of our method on questions of public opinion for which no pre-trained classifier is available. Our work extends the analysis of affect in LLMs to a longitudinal setting through Temporal Adapters. It enables flexible, new approaches towards the longitudinal analysis of social media data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google