Consistency of Responses and Continuations Generated by Large Language Models on Social Media

要約

大規模言語モデル (LLM) はテキスト生成において顕著な機能を示していますが、ソーシャル メディアのコンテキストにおけるその感情的な一貫性と意味論的な一貫性はまだ十分に理解されていません。
この研究では、LLM がどのように感情的なコンテンツを処理し、2 つのオープンソース モデル Gemma と Llama を使用して継続および応答タスクを通じて意味論的な関係を維持するかを調査します。
Twitter や Reddit からの気候変動に関する議論を分析することで、人間が作成したコンテンツと LLM が生成したコンテンツの間の感情の変遷、激しさのパターン、意味上の類似性を調べます。
私たちの調査結果では、両方のモデルが高い意味論的一貫性を維持しながら、明確な感情パターンを示していることが明らかになりました。ジェマは、楽観主義などの特定の肯定的な感情を維持しながら、否定的な感情、特に怒りを増幅する傾向を示しています。
ラマは、より幅広い感情に対して優れた感情の保存を示します。
どちらのモデルも、人間が作成したコンテンツと比較して、感情の強度が弱められた応答を体系的に生成し、応答タスクにおいてポジティブな感情への偏りを示しています。
さらに、両方のモデルは、継続タスクと応答タスクの間でパフォーマンスが異なりますが、元のテキストとの意味上の強い類似性を維持しています。
これらの発見は、LLM の感情的および意味論的な処理能力に関する洞察を提供し、ソーシャル メディア コンテキストおよび人間と AI のインタラクション設計への展開に影響を与えます。

要約(オリジナル)

Large Language Models (LLMs) demonstrate remarkable capabilities in text generation, yet their emotional consistency and semantic coherence in social media contexts remain insufficiently understood. This study investigates how LLMs handle emotional content and maintain semantic relationships through continuation and response tasks using two open-source models: Gemma and Llama. By analyzing climate change discussions from Twitter and Reddit, we examine emotional transitions, intensity patterns, and semantic similarity between human-authored and LLM-generated content. Our findings reveal that while both models maintain high semantic coherence, they exhibit distinct emotional patterns: Gemma shows a tendency toward negative emotion amplification, particularly anger, while maintaining certain positive emotions like optimism. Llama demonstrates superior emotional preservation across a broader spectrum of affects. Both models systematically generate responses with attenuated emotional intensity compared to human-authored content and show a bias toward positive emotions in response tasks. Additionally, both models maintain strong semantic similarity with original texts, though performance varies between continuation and response tasks. These findings provide insights into LLMs’ emotional and semantic processing capabilities, with implications for their deployment in social media contexts and human-AI interaction design.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google