GPT4Graph: Can Large Language Models Understand Graph Structured Data ? An Empirical Evaluation and Benchmarking

要約

ChatGPT のような大規模言語モデル (LLM) は汎用人工知能 (AGI) にとって不可欠なものとなっており、さまざまな自然言語処理タスクで優れたパフォーマンスを示しています。
現実の世界では、グラフ データは遍在しており、AGI の重要な部分であり、ソーシャル ネットワーク分析、バイオインフォマティクス、レコメンダー システムなどの分野で普及しています。
大規模な言語モデルのトレーニング コーパスには、多くの場合、いくつかのアルゴリズム コンポーネントが含まれており、これにより、一部のグラフ データ関連の問題に対して特定の効果を達成できます。
ただし、より広範囲のグラフ構造データに対するパフォーマンスに関する研究はまだほとんどありません。
この研究では、構造的および意味論に関連したさまざまなタスクを使用して、グラフ データを理解する際の LLM の習熟度を評価するための広範な調査を実施します。
私たちの分析には、グラフ理解における LLM の能力を評価する 10 の異なるタスクが含まれています。
私たちの研究を通じて、グラフ構造の理解と関連する推論タスクの実行における言語モデルの現在の限界を明らかにするだけでなく、グラフ処理能力を強化するためのさらなる進歩と新しいアプローチの必要性も強調します。
私たちの発見は、言語モデルとグラフ理解の間のギャップを埋めるための貴重な洞察に貢献し、より効果的なグラフマイニングと知識抽出への道を開きます。

要約(オリジナル)

Large language models~(LLM) like ChatGPT have become indispensable to artificial general intelligence~(AGI), demonstrating excellent performance in various natural language processing tasks. In the real world, graph data is ubiquitous and an essential part of AGI and prevails in domains like social network analysis, bioinformatics and recommender systems. The training corpus of large language models often includes some algorithmic components, which allows them to achieve certain effects on some graph data-related problems. However, there is still little research on their performance on a broader range of graph-structured data. In this study, we conduct an extensive investigation to assess the proficiency of LLMs in comprehending graph data, employing a diverse range of structural and semantic-related tasks. Our analysis encompasses 10 distinct tasks that evaluate the LLMs’ capabilities in graph understanding. Through our study, we not only uncover the current limitations of language models in comprehending graph structures and performing associated reasoning tasks but also emphasize the necessity for further advancements and novel approaches to enhance their graph processing capabilities. Our findings contribute valuable insights towards bridging the gap between language models and graph understanding, paving the way for more effective graph mining and knowledge extraction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google