Examining the Role of Relationship Alignment in Large Language Models

要約

ソーシャル環境におけるジェネレーティブ AI の急速な開発と展開により、精度とリアリズムを維持しながらユーザーに合わせてジェネレーティブ AI を最適にパーソナライズする方法について重要な疑問が生じます。
この研究では、Facebook の公開コメント後データセットに基づいて、コメント投稿者と投稿者の性別、年齢、友人関係の親密さのさまざまな組み合わせにわたって意味論的なトーンを予測し、LLM によって生成されたこれらの違いを再現する Llama 3.0 (70B) の能力を評価しています。
コメント。
この研究は 2 つの部分で構成されています。第 1 部では、社会的関係のカテゴリー間の意味論的トーンの違いを評価します。第 2 部では、Llama 3.0 (70B) によって生成されたコメントと、Facebook の公開投稿を入力として与えられた第 1 部からの人間のコメントとの間の類似性を調査します。
パート I の結果は、社会的関係情報を含めることで、人間のコメントの意味論的トーンを予測するモデルの能力が向上することを示しています。
ただし、パート II の結果は、プロンプトに社会的コンテキスト情報が含まれていない場合でも、LLM が生成したコメントと人間のコメントは社会的コンテキストに同等に敏感であることを示しており、LLM が元の投稿だけからセマンティクスを理解できることを示唆しています。
すべての社会的関係情報をプロンプトに含めると、人間のコメントと LLM が生成したコメントとの類似性が減少します。
この不一致は、LLM がトレーニング データの一部としてソーシャル コンテキスト情報を含まないために発生する可能性があります。
これらの結果を総合すると、LLM が元の投稿のセマンティクスを理解し、人間のコメントに同様に応答する能力があることを示していますが、プロンプトのみでパーソナライズされたコメントを一般化する際の限界も浮き彫りにしています。

要約(オリジナル)

The rapid development and deployment of Generative AI in social settings raise important questions about how to optimally personalize them for users while maintaining accuracy and realism. Based on a Facebook public post-comment dataset, this study evaluates the ability of Llama 3.0 (70B) to predict the semantic tones across different combinations of a commenter’s and poster’s gender, age, and friendship closeness and to replicate these differences in LLM-generated comments. The study consists of two parts: Part I assesses differences in semantic tones across social relationship categories, and Part II examines the similarity between comments generated by Llama 3.0 (70B) and human comments from Part I given public Facebook posts as input. Part I results show that including social relationship information improves the ability of a model to predict the semantic tone of human comments. However, Part II results show that even without including social context information in the prompt, LLM-generated comments and human comments are equally sensitive to social context, suggesting that LLMs can comprehend semantics from the original post alone. When we include all social relationship information in the prompt, the similarity between human comments and LLM-generated comments decreases. This inconsistency may occur because LLMs did not include social context information as part of their training data. Together these results demonstrate the ability of LLMs to comprehend semantics from the original post and respond similarly to human comments, but also highlights their limitations in generalizing personalized comments through prompting alone.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google