Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT

要約

本論文では、複雑なグラフデータに対する推論能力を持つ大規模言語モデル(LLM)を開発することを目的とする。現在、LLMは様々な自然言語学習タスクで非常に優れた性能を発揮しており、その拡張はマルチモーダルデータを用いた視覚タスクの研究にも応用されている。しかし、グラフ学習タスクに関しては、既存のLLMは、{多段階論理推論}、{正確な数学計算}、{空間的・時間的要因に関する知覚}の実行において、いくつかの先天的な弱点があり、非常に深刻な欠陥がある。 このような課題に対処するため、本論文では、既存のLLMにグラフ推論能力を付与するための原理、方法論、アルゴリズムを調査し、LLMとグラフ学習の両方の現在の研究に多大な影響を与えることになる。ChatGPTとToolformerの最新モデルに触発され、我々は、ChatGPTによって増強されたプロンプトによって、外部のグラフ推論APIツールを使用するためにLLM自身を教えるGraph-ToolFormer (Graph Reasoning oriented Toolformer) フレームワークを提案しています。具体的には、(1)単純なグラフの順序やサイズからグラフの直径や周辺部まで、非常に基本的なグラフデータの読み込みやグラフ特性の推論タスク、(2)書誌ネットワーク、タンパク質分子、逐次推薦システム、ソーシャルネットワーク、知識グラフなどの実世界グラフデータに対するより高度な推論タスク、の両方を含め、本論文では様々なグラフデータを扱うためのグラフ-ツールフォーマーを教えるための調査を行う予定です。

要約(オリジナル)

In this paper, we aim to develop a large language model (LLM) with the reasoning ability on complex graph data. Currently, LLMs have achieved very impressive performance on various natural language learning tasks, extensions of which have also been applied to study the vision tasks with multi-modal data. However, when it comes to the graph learning tasks, existing LLMs present very serious flaws due to their several inherited weaknesses in performing {multi-step logic reasoning}, {precise mathematical calculation} and {perception about the spatial and temporal factors}. To address such challenges, in this paper, we will investigate the principles, methodologies and algorithms to empower existing LLMs with graph reasoning ability, which will have tremendous impacts on the current research of both LLMs and graph learning. Inspired by the latest ChatGPT and Toolformer models, we propose the Graph-ToolFormer (Graph Reasoning oriented Toolformer) framework to teach LLMs themselves with prompts augmented by ChatGPT to use external graph reasoning API tools. Specifically, we will investigate to teach Graph-ToolFormer to handle various graph data reasoning tasks in this paper, including both (1) very basic graph data loading and graph property reasoning tasks, ranging from simple graph order and size to the graph diameter and periphery, and (2) more advanced reasoning tasks on real-world graph data, such as bibliographic networks, protein molecules, sequential recommender systems, social networks and knowledge graphs.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL