GraphLLM: Boosting Graph Reasoning Ability of Large Language Model

要約

大規模言語モデル (LLM) の進歩により、汎用人工知能 (AGI) の境界が著しく押し広げられ、画像や音声を含む (ただしこれらに限定されない) さまざまなタイプの情報を理解する卓越した能力が備わっています。
このような進歩にもかかわらず、LLM がグラフ データを十分に理解して推論できるようにするには、依然として重大なギャップが残っています。
最近の研究では、基本的なグラフ推論タスクにおける LLM のパフォーマンスが圧倒的に低いことが強調されています。
この論文では、グラフ推論における LLM を妨げる障害を明らかにし、グラフを自然言語記述 (Graph2Text) に変換する一般的な手法が基本的なボトルネックであることを特定します。
この障害を克服するために、グラフ学習モデルと LLM を相乗的に統合する先駆的なエンドツーエンドのアプローチである GraphLLM を導入します。
この相乗効果により、LLM は、グラフ学習モデルの優れた表現力を活用して、グラフ データを巧みに解釈して推論する能力を身につけることができます。
4 つの基本的なグラフ推論タスクにわたる経験的評価により、GraphLLM の有効性が検証されます。
結果は、さまざまなグラフ推論タスク全体で 96.45% という注目に値するコンテキストの削減とともに、平均 54.44% という大幅な精度の向上を示しています。

要約(オリジナル)

The advancement of Large Language Models (LLMs) has remarkably pushed the boundaries towards artificial general intelligence (AGI), with their exceptional ability on understanding diverse types of information, including but not limited to images and audio. Despite this progress, a critical gap remains in empowering LLMs to proficiently understand and reason on graph data. Recent studies underscore LLMs’ underwhelming performance on fundamental graph reasoning tasks. In this paper, we endeavor to unearth the obstacles that impede LLMs in graph reasoning, pinpointing the common practice of converting graphs into natural language descriptions (Graph2Text) as a fundamental bottleneck. To overcome this impediment, we introduce GraphLLM, a pioneering end-to-end approach that synergistically integrates graph learning models with LLMs. This synergy equips LLMs with the ability to proficiently interpret and reason on graph data, harnessing the superior expressive power of graph learning models. Our empirical evaluations across four fundamental graph reasoning tasks validate the effectiveness of GraphLLM. The results exhibit a substantial average accuracy enhancement of 54.44%, alongside a noteworthy context reduction of 96.45% across various graph reasoning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google