Engagement-Driven Content Generation with Large Language Models

要約

大規模言語モデル (LLM) は、1 対 1 の対話において重要な説得能力を発揮しますが、ソーシャル ネットワーク内でのその影響力はまだ解明されていません。
この研究では、相互接続されたユーザーと複雑な意見のダイナミクスが特有の課題を引き起こすこれらの環境における LLM の潜在的な社会的影響を調査します。
特に、次の研究課題に取り組みます。LLM は、ソーシャル ネットワーク上でのユーザー エンゲージメントを最大化する有意義なコンテンツを生成する方法を学習できるでしょうか?
この質問に答えるために、シミュレートされたフィードバックによる強化学習を採用する LLM ベースのコンテンツ生成をガイドするパイプラインを定義します。
私たちのフレームワークでは、報酬は意見の力学と情報伝播に関する文献から借用したエンゲージメント モデルに基づいています。
さらに、LLM によって生成されたテキストが特定のトピックに合わせられ、最低限の流暢さの要件を満たすように強制されます。
私たちのフレームワークを使用して、特定のタスクに取り組む際の LLM の能力と限界を分析します。具体的には、ソーシャル ネットワーク内のエージェントとしての LLM の相対的な位置と、特定のトピックに関するネットワーク内の意見の分布を考慮します。
私たちの調査結果は、LLM が社会的関与を生み出す上で最大限の可能性を秘めていることを示しています。
私たちのアプローチの注目すべき特性は、学習手順が基礎となるネットワークの意見分布に適応し、プラグアンドプレイ コンポーネントとして組み込まれたエンゲージメント モデルの詳細にとらわれないことです。
この点において、私たちのアプローチは、より複雑な関与タスクや計算社会科学への介入に合わせて簡単に改良することができます。
実験に使用されたコードは、https://anonymous.4open.science/r/EDCG/ で公開されています。

要約(オリジナル)

Large Language Models (LLMs) exhibit significant persuasion capabilities in one-on-one interactions, but their influence within social networks remains underexplored. This study investigates the potential social impact of LLMs in these environments, where interconnected users and complex opinion dynamics pose unique challenges. In particular, we address the following research question: can LLMs learn to generate meaningful content that maximizes user engagement on social networks? To answer this question, we define a pipeline to guide the LLM-based content generation which employs reinforcement learning with simulated feedback. In our framework, the reward is based on an engagement model borrowed from the literature on opinion dynamics and information propagation. Moreover, we force the text generated by the LLM to be aligned with a given topic and to satisfy a minimum fluency requirement. Using our framework, we analyze the capabilities and limitations of LLMs in tackling the given task, specifically considering the relative positions of the LLM as an agent within the social network and the distribution of opinions in the network on the given topic. Our findings show the full potential of LLMs in creating social engagement. Notable properties of our approach are that the learning procedure is adaptive to the opinion distribution of the underlying network and agnostic to the specifics of the engagement model, which is embedded as a plug-and-play component. In this regard, our approach can be easily refined for more complex engagement tasks and interventions in computational social science. The code used for the experiments is publicly available at https://anonymous.4open.science/r/EDCG/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google