Natural Language is All a Graph Needs

要約

ChatGPT などの大規模な事前トレーニング済み言語モデルの出現は、人工知能のさまざまな研究分野に革命をもたらしました。
トランスフォーマーベースの大規模言語モデル (LLM) は、コンピューター ビジョンと自然言語処理の分野を統合するために、CNN と RNN を徐々に置き換えてきました。
画像、動画、テキストなどの比較的独立して存在するデータと比較して、グラフは豊富な構造情報や関係情報を含むデータの一種です。
一方、自然言語は最も表現力豊かな媒体の 1 つであり、複雑な構造を記述するのに優れています。
ただし、グラフ学習の問題を生成言語モデリング フレームワークに組み込む既存の研究は依然として非常に限られています。
言語モデルの重要性が高まるにつれ、LLM がグラフの基礎モデルとして GNN に代わることができるかどうかを検討することが不可欠になります。
この論文では、InstructGLM (命令微調整グラフ言語モデル) を提案し、自然言語命令に基づいて拡張性の高いプロンプトを体系的に設計し、自然言語を使用してグラフの幾何学的構造とノード特徴を記述し、学習を実行する LLM の命令調整を行います。
生成的な方法でのグラフの推論。
私たちの手法は、ogbn-arxiv、Cora、PubMed データセット上のすべての競合 GNN ベースラインを上回っています。これは、私たちの手法の有効性を実証し、グラフ機械学習の基礎モデルとして GNN に代わる生成言語モデルに光を当てます。

要約(オリジナル)

The emergence of large-scale pre-trained language models, such as ChatGPT, has revolutionized various research fields in artificial intelligence. Transformers-based large language models (LLMs) have gradually replaced CNNs and RNNs to unify fields of computer vision and natural language processing. Compared with the data that exists relatively independently such as images, videos or texts, graph is a type of data that contains rich structural and relational information. Meanwhile, natural language, as one of the most expressive mediums, excels in describing complex structures. However, existing work on incorporating graph learning problems into the generative language modeling framework remains very limited. As the importance of language models continues to grow, it becomes essential to explore whether LLMs can also replace GNNs as the foundational model for graphs. In this paper, we propose InstructGLM (Instruction-finetuned Graph Language Model), systematically design highly scalable prompts based on natural language instructions, and use natural language to describe the geometric structure and node features of the graph for instruction tuning an LLMs to perform learning and inference on graphs in a generative manner. Our method exceeds all competitive GNN baselines on ogbn-arxiv, Cora and PubMed datasets, which demonstrates the effectiveness of our method and sheds light on generative language models replacing GNNs as the foundation model for graph machine learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google