NT-LLM: A Novel Node Tokenizer for Integrating Graph Structure into Large Language Models

要約

グラフは、現実世界のシナリオにおける関係を表すための基本的なデータ構造です。
さまざまな自然言語処理 (NLP) タスクにわたる大規模言語モデル (LLM) の成功により、グラフ学習に LLM を統合することへの関心が高まっています。
ただし、LLM をグラフ関連のタスクに適用すると、これらのモデルは本質的にグラフに存在する複雑な構造情報を捕捉するように設計されていないため、大きな課題が生じます。
既存のアプローチは、2 つの戦略を通じてこの課題に対処しています。1 つはタスク連鎖アプローチで、グラフ ニューラル ネットワーク (GNN) を使用してグラフ構造をエンコードし、LLM が空間位置を理解することから解放されます。
グラフからテキストへの変換。グラフ構造を、LLM が処理できるセマンティック テキスト表現に変換します。
これらの手法は進歩しているにもかかわらず、多くの場合、グラフの位相情報を完全に保存するのに苦労したり、膨大な計算リソースを必要としたりして、実際の適用性が制限されています。
この研究では、キー ノードをアンカーとして選択し、これらのアンカーまでの相対距離に基づいて各ノードを表すことにより、グラフ構造を効率的にエンコードする新しいフレームワークである Node Tokenizer for Large Language Models (NT-LLM) を紹介します。
この位置アンカー エンコーディングはグラフ トポロジを効果的にキャプチャし、グラフ データに対する LLM の推論機能の強化を可能にします。
さらに、LLM 内の構造の理解をさらに向上させるために、タスク固有の調整手順を実装します。
広範な実証的評価を通じて、NT-LLM はさまざまなグラフ関連タスクにわたってパフォーマンスが大幅に向上することを実証しています。

要約(オリジナル)

Graphs are a fundamental data structure for representing relationships in real-world scenarios. With the success of Large Language Models (LLMs) across various natural language processing (NLP) tasks, there has been growing interest in integrating LLMs for graph learning. However, applying LLMs to graph-related tasks poses significant challenges, as these models are not inherently designed to capture the complex structural information present in graphs. Existing approaches address this challenge through two strategies: the chain of tasks approach, which uses Graph Neural Networks (GNNs) to encode the graph structure so that LLMs are relieved from understanding spatial positions; and Graph-to-Text Conversion, which translates graph structures into semantic text representations that LLMs can process. Despite their progress, these methods often struggle to fully preserve the topological information of graphs or require extensive computational resources, limiting their practical applicability. In this work, we introduce Node Tokenizer for Large Language Models (NT-LLM), a novel framework that efficiently encodes graph structures by selecting key nodes as anchors and representing each node based on its relative distance to these anchors. This position-anchored encoding effectively captures the graph topology, enabling enhanced reasoning capabilities in LLMs over graph data. Additionally, we implement a task-specific tuning procedure to further improve structural understanding within LLMs. Through extensive empirical evaluations, NT-LLM demonstrates significant performance improvements across a variety of graph-related tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google