Graph Linearization Methods for Reasoning on Graphs with Large Language Models

要約

大規模な言語モデルは、画像や音声など、テキストを超えた複数のモダリティを処理するように進化しており、グラフ機械学習タスクにそれらを効果的に活用する方法を探求する動機となっています。
したがって、重要な問題は、LLM がグラフを自然に処理できるように、グラフをトークンの線形シーケンスに変換する方法 (グラフ線形化と呼ばれるプロセス) です。
私たちは、何兆ものテキストトークンで訓練された現代のLLMを容易にし、グラフをよりよく理解するために、ローカル依存性やグローバルアライメントなどの自然言語テキストの特定の特性を反映するためにグラフを有意義に線形化する必要があると考えています。
これを達成するために、グラフの中心性、縮退、ノードの再ラベル付けスキームに基づいたいくつかのグラフ線形化手法を開発しました。
次に、グラフ推論タスクにおける LLM のパフォーマンスに対するそれらの影響を調査しました。
合成グラフの実験結果は、ランダムな線形化ベースラインと比較した場合の手法の有効性を示しています。
私たちの研究は、LLM に適した新しいグラフ表現を導入し、統合トランスフォーマー モデルを使用したマルチモーダル処理のトレンドとグラフ機械学習の潜在的な統合に貢献します。

要約(オリジナル)

Large language models have evolved to process multiple modalities beyond text, such as images and audio, which motivates us to explore how to effectively leverage them for graph machine learning tasks. The key question, therefore, is how to transform graphs into linear sequences of tokens, a process we term graph linearization, so that LLMs can handle graphs naturally. We consider that graphs should be linearized meaningfully to reflect certain properties of natural language text, such as local dependency and global alignment, in order to ease contemporary LLMs, trained on trillions of textual tokens, better understand graphs. To achieve this, we developed several graph linearization methods based on graph centrality, degeneracy, and node relabeling schemes. We then investigated their effect on LLM performance in graph reasoning tasks. Experimental results on synthetic graphs demonstrate the effectiveness of our methods compared to random linearization baselines. Our work introduces novel graph representations suitable for LLMs, contributing to the potential integration of graph machine learning with the trend of multi-modal processing using a unified transformer model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google