Towards Safer Online Spaces: Simulating and Assessing Intervention Strategies for Eating Disorder Discussions

要約

摂食障害は、世界中の何百万人もの人々に影響を与える複雑な精神的健康状態です。
ソーシャルメディアプラットフォームへの効果的な介入は非常に重要ですが、その場で戦略をテストすることは危険を伴う可能性があります。
ED 関連の議論における介入戦略をシミュレートおよび評価するための、新しい LLM 主導の実験的テストベッドを紹介します。
私たちのフレームワークは、複数のプラットフォーム、モデル、ED 関連のトピックにわたる合成会話を生成し、多様な介入アプローチによる制御された実験を可能にします。
私たちは、介入タイプ、生成モデル、ソーシャルメディアプラットフォーム、ED関連のコミュニティ/トピックの4つの側面にわたって、会話ダイナミクスに対するさまざまな介入戦略の影響を分析します。
私たちは、介入の有効性を評価するために、センチメント、感情などを含む認知領域分析指標を採用しています。
私たちの調査結果は、礼儀を重視した介入はあらゆる面でポジティブな感情と感情の調子を一貫して改善する一方、洞察力をリセットするアプローチはネガティブな感情を増加させる傾向があることを明らかにしました。
また、モデル間 (Claude-3 Haiku $>$ Mistral $>$ GPT-3.5-turbo $>$ LLaMA3)、さらには同じモデルのバージョン間でも認知指標が著しく異なる、LLM で生成された会話における重大なバイアスも明らかにしました。
これらのバリエーションは、ED に関連する現実的な議論をシミュレートする際のモデル選択の重要性を強調しています。
私たちの研究は、ED 関連の議論の複雑な力学とさまざまな介入戦略の有効性に関する貴重な情報を提供します。

要約(オリジナル)

Eating disorders are complex mental health conditions that affect millions of people around the world. Effective interventions on social media platforms are crucial, yet testing strategies in situ can be risky. We present a novel LLM-driven experimental testbed for simulating and assessing intervention strategies in ED-related discussions. Our framework generates synthetic conversations across multiple platforms, models, and ED-related topics, allowing for controlled experimentation with diverse intervention approaches. We analyze the impact of various intervention strategies on conversation dynamics across four dimensions: intervention type, generative model, social media platform, and ED-related community/topic. We employ cognitive domain analysis metrics, including sentiment, emotions, etc., to evaluate the effectiveness of interventions. Our findings reveal that civility-focused interventions consistently improve positive sentiment and emotional tone across all dimensions, while insight-resetting approaches tend to increase negative emotions. We also uncover significant biases in LLM-generated conversations, with cognitive metrics varying notably between models (Claude-3 Haiku $>$ Mistral $>$ GPT-3.5-turbo $>$ LLaMA3) and even between versions of the same model. These variations highlight the importance of model selection in simulating realistic discussions related to ED. Our work provides valuable information on the complex dynamics of ED-related discussions and the effectiveness of various intervention strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google