Graph Linearization Methods for Reasoning on Graphs with Large Language Models

要約

大規模な言語モデルは、画像やオーディオなどのテキストを超えた複数のモダリティを処理するために進化しました。
したがって、重要な問題は、グラフをトークンの線形シーケンスに変換する方法です。これは、「グラフ線形化」と呼ばれるプロセスであり、LLMがグラフを自然に処理できるようにします。
グラフは、数兆個のテキストトークンで訓練された現代のLLMSを容易にし、グラフをよりよく理解するために、ローカル依存関係やグローバルアライメントなど、自然言語テキストの特定の特性を反映するために有意義に線形化する必要があると考えています。
これを達成するために、グラフの中心性と縮退に基づいていくつかのグラフ線形化方法を開発しました。
これらのメソッドは、ノードリレクション技術を使用してさらに強化されています。
実験結果は、ランダムな線形化ベースラインと比較して、方法の有効性を示しています。
私たちの研究では、LLMに適した新しいグラフ表現を導入し、グラフ機械学習の潜在的な統合と、統一されたトランスモデルを使用したマルチモーダル処理の傾向に貢献しています。

要約(オリジナル)

Large language models have evolved to process multiple modalities beyond text, such as images and audio, which motivates us to explore how to effectively leverage them for graph reasoning tasks. The key question, therefore, is how to transform graphs into linear sequences of tokens, a process we term ‘graph linearization’, so that LLMs can handle graphs naturally. We consider that graphs should be linearized meaningfully to reflect certain properties of natural language text, such as local dependency and global alignment, in order to ease contemporary LLMs, trained on trillions of textual tokens, better understand graphs. To achieve this, we developed several graph linearization methods based on graph centrality and degeneracy. These methods are further enhanced using node relabeling techniques. The experimental results demonstrate the effectiveness of our methods compared to the random linearization baseline. Our work introduces novel graph representations suitable for LLMs, contributing to the potential integration of graph machine learning with the trend of multimodal processing using a unified transformer model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google