GCoT: Chain-of-Thought Prompt Learning for Graphs

要約

チェーンオブシューター（COT）プロンプトは、自然言語処理（NLP）で顕著な成功を収めています。
ただし、その広大な可能性は、グラフに対してほとんど未開拓のままです。
これは興味深い質問を提起します。グラフを段階的に学習するグラフモデルを導くためのグラフをプロンプトするコットを設計するにはどうすればよいですか？
一方では、自然言語とは異なり、グラフは非線形であり、複雑なトポロジー構造によって特徴付けられます。
一方、多くのグラフにはテキストデータがないため、言語ベースのCOTプロンプトを策定することが困難です。
この作業では、テキストのないグラフであるGCOTの最初のCOTプロンプト学習フレームワークを提案します。
具体的には、各下流タスクの適応プロセスを一連の推論ステップに分解します。各ステップは、プロンプトベースの推論、「思考」生成、および思考条件付き迅速な学習で構成されます。
ステップはNLPでコットを模倣していますが、正確なメカニズムは大きく異なります。
具体的には、各ステップで、プロンプトとともに入力グラフがプロンプトとともに、プロンプトベースの推論のために事前に訓練されたグラフエンコーダーに供給されます。
次に、エンコーダーの隠されたレイヤーを集約して「思考」を構築します。これにより、現在のステップで各ノードの作業状態がキャプチャされます。
この考えを条件に、現在の状態に基づいて各ノードに固有のプロンプトを学習します。
これらのプロンプトは、次の推論ステップに供給され、サイクルを繰り返します。
GCOTの有効性を評価および分析するために、8つのパブリックデータセットで包括的な実験を実施し、アプローチの利点を実証します。

要約(オリジナル)

Chain-of-thought (CoT) prompting has achieved remarkable success in natural language processing (NLP). However, its vast potential remains largely unexplored for graphs. This raises an interesting question: How can we design CoT prompting for graphs to guide graph models to learn step by step? On one hand, unlike natural languages, graphs are non-linear and characterized by complex topological structures. On the other hand, many graphs lack textual data, making it difficult to formulate language-based CoT prompting. In this work, we propose the first CoT prompt learning framework for text-free graphs, GCoT. Specifically, we decompose the adaptation process for each downstream task into a series of inference steps, with each step consisting of prompt-based inference, “thought” generation, and thought-conditioned prompt learning. While the steps mimic CoT prompting in NLP, the exact mechanism differs significantly. Specifically, at each step, an input graph, along with a prompt, is first fed into a pre-trained graph encoder for prompt-based inference. We then aggregate the hidden layers of the encoder to construct a “thought”, which captures the working state of each node in the current step. Conditioned on this thought, we learn a prompt specific to each node based on the current state. These prompts are fed into the next inference step, repeating the cycle. To evaluate and analyze the effectiveness of GCoT, we conduct comprehensive experiments on eight public datasets, which demonstrate the advantage of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google