Synergizing LLM Agents and Knowledge Graph for Socioeconomic Prediction in LBSN

要約

位置ベースのソーシャル ネットワーク (LBSN) の急速な発展は社会に大きな変化をもたらし、その結果、地域人口や商業活動の推定など、社会経済予測に LBSN データを使用する研究が盛んに行われています。
既存の研究では、さまざまなグラフを設計して異種の LBSN データをモデル化し、さらにグラフ表現学習手法を社会経済予測に適用しています。
ただし、これらのアプローチは、多様なデータからタスク関連の知識を抽出するヒューリスティックなアイデアと専門知識に大きく依存しており、特定のタスクには最適ではない可能性があります。
さらに、異なる指標間の固有の関係を見落とす傾向があり、予測精度が制限されます。
常識的推論、埋め込み、およびマルチエージェントのコラボレーションにおける大規模言語モデル (LLM) の優れた能力に動機付けられ、この研究では、社会経済予測のために LLM エージェントとナレッジ グラフを相乗させます。
まず、位置ベースのナレッジ グラフ (LBKG) を構築して、複数ソースの LBSN データを統合します。
次に、LLM エージェントの推論能力を活用して、社会経済的予測タスクの種類ごとに LBKG 内の関連するメタパスを特定し、メタパスとの知識融合のための意味論に基づく注意モジュールを設計します。
さらに、LLM エージェントと KG レベルの両方でタスク間で知識を共有できるようにすることで、パフォーマンスをさらに向上させるクロスタスク通信メカニズムを導入します。
一方で、さまざまなタスクの LLM エージェントが連携して、より多様で包括的なメタパスを生成します。
一方、さまざまなタスクからのエンベディングは、より適切な社会経済予測のために適応的にマージされます。
2 つのデータセットの実験は、LLM と KG 間の相乗設計の有効性を実証し、社会経済予測タスク全体での情報共有に関する洞察を提供します。

要約(オリジナル)

The fast development of location-based social networks (LBSNs) has led to significant changes in society, resulting in popular studies of using LBSN data for socioeconomic prediction, e.g., regional population and commercial activity estimation. Existing studies design various graphs to model heterogeneous LBSN data, and further apply graph representation learning methods for socioeconomic prediction. However, these approaches heavily rely on heuristic ideas and expertise to extract task-relevant knowledge from diverse data, which may not be optimal for specific tasks. Additionally, they tend to overlook the inherent relationships between different indicators, limiting the prediction accuracy. Motivated by the remarkable abilities of large language models (LLMs) in commonsense reasoning, embedding, and multi-agent collaboration, in this work, we synergize LLM agents and knowledge graph for socioeconomic prediction. We first construct a location-based knowledge graph (LBKG) to integrate multi-sourced LBSN data. Then we leverage the reasoning power of LLM agent to identify relevant meta-paths in the LBKG for each type of socioeconomic prediction task, and design a semantic-guided attention module for knowledge fusion with meta-paths. Moreover, we introduce a cross-task communication mechanism to further enhance performance by enabling knowledge sharing across tasks at both LLM agent and KG levels. On the one hand, the LLM agents for different tasks collaborate to generate more diverse and comprehensive meta-paths. On the other hand, the embeddings from different tasks are adaptively merged for better socioeconomic prediction. Experiments on two datasets demonstrate the effectiveness of the synergistic design between LLM and KG, providing insights for information sharing across socioeconomic prediction tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google