Can LLMs Simulate Social Media Engagement? A Study on Action-Guided Response Generation

要約

ソーシャルメディアは、トレンドのトピックとの動的なユーザーエンゲージメントを可能にし、最近の研究では、応答生成のための大規模な言語モデル（LLM）の可能性を調査しました。
一部の研究では、ソーシャルメディアでユーザーの行動をシミュレートするためのエージェントとしてLLMSを調査していますが、LLMが人間の行動とどの程度うまく調整されるかをより深く理解するのではなく、実用的な実行可能性とスケーラビリティに焦点を当てています。
このペーパーでは、アクションガイド付き応答生成を通じてソーシャルメディアのエンゲージメントをシミュレートするLLMSの能力を分析します。モデルは、予測アクションに条件付けられたパーソナライズされた応答を生成する前に、ユーザーのエンゲージメントアクションリトウィート、引用、または書き換えのトレンド投稿を最初に予測します。
。
ソーシャルメディアエンゲージメントシミュレーションでXで議論されている主要な社会的イベントに関するGPT-4O-MINI、O1-MINI、およびDEEPSEEK-R1をベンチマークします。
限られた例でLLMSの予測精度を分解します。
ただし、応答生成では、少数のショットLLMがグラウンドトゥルースポストとの強いセマンティックアライメントを実現します。

要約(オリジナル)

Social media enables dynamic user engagement with trending topics, and recent research has explored the potential of large language models (LLMs) for response generation. While some studies investigate LLMs as agents for simulating user behavior on social media, their focus remains on practical viability and scalability rather than a deeper understanding of how well LLM aligns with human behavior. This paper analyzes LLMs’ ability to simulate social media engagement through action guided response generation, where a model first predicts a user’s most likely engagement action-retweet, quote, or rewrite-towards a trending post before generating a personalized response conditioned on the predicted action. We benchmark GPT-4o-mini, O1-mini, and DeepSeek-R1 in social media engagement simulation regarding a major societal event discussed on X. Our findings reveal that zero-shot LLMs underperform BERT in action prediction, while few-shot prompting initially degrades the prediction accuracy of LLMs with limited examples. However, in response generation, few-shot LLMs achieve stronger semantic alignment with ground truth posts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google