A Survey of Graph Prompting Methods: Techniques, Applications, and Challenges

要約

ディープ ラーニングはさまざまなタスクで大きな成功を収めていますが、タスク固有のモデル トレーニングは大量のラベル付きデータに依存していることで有名です。
最近、限られたラベル付きデータでモデルの一般化能力を向上させるために、「事前トレーニング、プロンプト、予測」という新しいトレーニング パラダイムが提案されました。
主なアイデアは、事前トレーニング済みのモデルに基づいて、プロンプティング関数がテンプレートを使用して入力サンプルを示唆的なコンテキストで補強し、ターゲット タスクを事前トレーニング タスクの 1 つに再形式化することです。
この調査では、グラフの観点からプロンプト方法について独自のレビューを提供します。
グラフ データは、エンティティ間の相互作用を明示的にモデル化することにより、さまざまなシステムで構造化された知識のリポジトリとして機能してきました。
従来の方法と比較して、グラフ プロンプト関数は、タスク関連のコンテキストを誘導し、構造化された知識でテンプレートを適用できます。
事前トレーニング済みのモデルは、将来のサンプルのために適応的に一般化されます。
特に、グラフ プロンプト学習の基本的な概念を紹介し、グラフ プロンプト関数を設計する既存の作業を整理し、さまざまな機械学習の問題に対するそれらのアプリケーションと課題について説明します。
この調査は、構造化されたグラフと迅速な設計の間のギャップを埋めて、将来の方法論の開発を容易にすることを試みています。

要約(オリジナル)

While deep learning has achieved great success on various tasks, the task-specific model training notoriously relies on a large volume of labeled data. Recently, a new training paradigm of “pre-train, prompt, predict” has been proposed to improve model generalization ability with limited labeled data. The main idea is that, based on a pre-trained model, the prompting function uses a template to augment input samples with indicative context and reformalizes the target task to one of the pre-training tasks. In this survey, we provide a unique review of prompting methods from the graph perspective. Graph data has served as structured knowledge repositories in various systems by explicitly modeling the interaction between entities. Compared with traditional methods, graph prompting functions could induce task-related context and apply templates with structured knowledge. The pre-trained model is then adaptively generalized for future samples. In particular, we introduce the basic concepts of graph prompt learning, organize the existing work of designing graph prompting functions, and describe their applications and challenges to a variety of machine learning problems. This survey attempts to bridge the gap between structured graphs and prompt design to facilitate future methodology development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google