LLMs generate structurally realistic social networks but overestimate political homophily

要約

ソーシャル ネットワークの生成は、流行モデリングや社会シミュレーションなどの多くのアプリケーションにとって不可欠です。
従来のアプローチには、トレーニングに多くの観察されたネットワークを必要とする深層学習モデル、または現実性と柔軟性が制限されている様式化されたモデルが含まれていました。
対照的に、LLM はゼロショットで柔軟なネットワーク生成の可能性を提供します。
ただし、2 つの重要な疑問があります: (1) LLM が生成したネットワークは現実的ですか、(2) 社会的つながりを形成する際の人口動態の重要性を考慮した場合、偏見のリスクは何ですか?
これらの質問に答えるために、ネットワーク生成のための 3 つのプロンプト方法を開発し、生成されたネットワークを実際のソーシャル ネットワークと比較します。
ネットワーク全体を一度に構築する「グローバル」方法と比較して、LLM が一度に 1 人のペルソナの関係を構築する「ローカル」方法の方が、より現実的なネットワークが生成されることがわかりました。
また、生成されたネットワークは、密度、クラスタリング、コミュニティ構造、次数などの多くの特性において実際のネットワークと一致することもわかりました。
しかし、LLM は他のすべてのタイプの同性愛よりも政治的同性愛を強調し、現実世界の尺度に比べて政治的同性愛を過大評価していることがわかりました。

要約(オリジナル)

Generating social networks is essential for many applications, such as epidemic modeling and social simulations. Prior approaches either involve deep learning models, which require many observed networks for training, or stylized models, which are limited in their realism and flexibility. In contrast, LLMs offer the potential for zero-shot and flexible network generation. However, two key questions are: (1) are LLM’s generated networks realistic, and (2) what are risks of bias, given the importance of demographics in forming social ties? To answer these questions, we develop three prompting methods for network generation and compare the generated networks to real social networks. We find that more realistic networks are generated with ‘local’ methods, where the LLM constructs relations for one persona at a time, compared to ‘global’ methods that construct the entire network at once. We also find that the generated networks match real networks on many characteristics, including density, clustering, community structure, and degree. However, we find that LLMs emphasize political homophily over all other types of homophily and overestimate political homophily relative to real-world measures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google