Large Language Models on Graphs: A Comprehensive Survey

要約

ChatGPT や LLaMA などの大規模言語モデル (LLM) は、その強力なテキスト エンコード/デコード能力と新たに発見された創発的な能力 (推論など) により、自然言語処理に大きな進歩をもたらしています。
LLM は主に純粋なテキストを処理するように設計されていますが、実際にはテキスト データがグラフ形式の豊富な構造情報に関連付けられているシナリオ (学術ネットワークや電子商取引ネットワークなど)、またはグラフ データがペアになっているシナリオが数多くあります。
豊富なテキスト情報 (例: 説明付きの分子)。
さらに、LLM は純粋なテキストベースの推論能力を示していますが、その能力をグラフ シナリオ (つまり、グラフベースの推論) に一般化できるかどうかは十分に検討されていません。
このペーパーでは、グラフ上の大規模な言語モデルに関連するシナリオと手法を体系的にレビューします。
まず、グラフに LLM を採用する潜在的なシナリオを、純粋なグラフ、テキストが豊富なグラフ、およびテキストペアグラフの 3 つのカテゴリにまとめます。
次に、予測子としての LLM、エンコーダとしての LLM、アライナとしての LLM など、グラフ上で LLM を利用するための詳細なテクニックについて説明し、さまざまなモデルの利点と欠点を比較します。
さらに、そのような手法の現実世界への応用について言及し、オープンソース コードとベンチマーク データセットを要約します。
最後に、この急速に成長している分野における将来の研究の可能性について結論付けます。
関連するソースは https://github.com/PeterGriffinJin/Awesome-Language-Model-on-Graphs にあります。

要約(オリジナル)

Large language models (LLMs), such as ChatGPT and LLaMA, are creating significant advancements in natural language processing, due to their strong text encoding/decoding ability and newly found emergent capability (e.g., reasoning). While LLMs are mainly designed to process pure texts, there are many real-world scenarios where text data are associated with rich structure information in the form of graphs (e.g., academic networks, and e-commerce networks) or scenarios where graph data are paired with rich textual information (e.g., molecules with descriptions). Besides, although LLMs have shown their pure text-based reasoning ability, it is underexplored whether such ability can be generalized to graph scenarios (i.e., graph-based reasoning). In this paper, we provide a systematic review of scenarios and techniques related to large language models on graphs. We first summarize potential scenarios of adopting LLMs on graphs into three categories, namely pure graphs, text-rich graphs, and text-paired graphs. We then discuss detailed techniques for utilizing LLMs on graphs, including LLM as Predictor, LLM as Encoder, and LLM as Aligner, and compare the advantages and disadvantages of different schools of models. Furthermore, we mention the real-world applications of such methods and summarize open-source codes and benchmark datasets. Finally, we conclude with potential future research directions in this fast-growing field. The related source can be found at https://github.com/PeterGriffinJin/Awesome-Language-Model-on-Graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google