Graph Machine Learning in the Era of Large Language Models (LLMs)

要約

グラフは、ソーシャル ネットワーク、ナレッジ グラフ、分子発見などのさまざまな領域で複雑な関係を表す上で重要な役割を果たします。
ディープ ラーニングの出現により、グラフ ニューラル ネットワーク (GNN) がグラフ機械学習 (グラフ ML) の基礎として台頭し、グラフ構造の表現と処理が容易になりました。
最近、LLM は言語タスクにおいて前例のない機能を実証し、コンピューター ビジョンやレコメンダー システムなどのさまざまなアプリケーションで広く採用されています。
この目覚ましい成功により、グラフ ドメインへの LLM の適用にも関心が集まっています。
Graph ML の一般化、移転可能性、および少数ショット学習能力の向上における LLM の可能性を探るための取り組みが増えています。
一方、グラフ、特に知識グラフには信頼できる事実の知識が豊富に含まれており、LLM の推論能力を強化し、幻覚や説明可能性の欠如などの制限を軽減するために利用できます。
この研究方向の急速な進歩を考慮すると、LLM 時代の Graph ML の最新の進歩を要約した体系的なレビューが、研究者や実践者に深い理解を提供するために必要です。
したがって、この調査では、まず Graph ML の最近の開発を確認します。
次に、LLM を利用してグラフ特徴の品質を向上させ、ラベル付きデータへの依存を軽減し、グラフの異質性や分布外 (OOD) 一般化などの課題に対処する方法を検討します。
その後、グラフがどのように LLM を強化できるかを掘り下げ、LLM の事前トレーニングと推論を強化する機能を強調します。
さらに、さまざまなアプリケーションを調査し、この有望な分野における潜在的な将来の方向性について議論します。

要約(オリジナル)

Graphs play an important role in representing complex relationships in various domains like social networks, knowledge graphs, and molecular discovery. With the advent of deep learning, Graph Neural Networks (GNNs) have emerged as a cornerstone in Graph Machine Learning (Graph ML), facilitating the representation and processing of graph structures. Recently, LLMs have demonstrated unprecedented capabilities in language tasks and are widely adopted in a variety of applications such as computer vision and recommender systems. This remarkable success has also attracted interest in applying LLMs to the graph domain. Increasing efforts have been made to explore the potential of LLMs in advancing Graph ML’s generalization, transferability, and few-shot learning ability. Meanwhile, graphs, especially knowledge graphs, are rich in reliable factual knowledge, which can be utilized to enhance the reasoning capabilities of LLMs and potentially alleviate their limitations such as hallucinations and the lack of explainability. Given the rapid progress of this research direction, a systematic review summarizing the latest advancements for Graph ML in the era of LLMs is necessary to provide an in-depth understanding to researchers and practitioners. Therefore, in this survey, we first review the recent developments in Graph ML. We then explore how LLMs can be utilized to enhance the quality of graph features, alleviate the reliance on labeled data, and address challenges such as graph heterogeneity and out-of-distribution (OOD) generalization. Afterward, we delve into how graphs can enhance LLMs, highlighting their abilities to enhance LLM pre-training and inference. Furthermore, we investigate various applications and discuss the potential future directions in this promising field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google