Data-Centric Learning from Unlabeled Graphs with Diffusion Model

要約

グラフ プロパティの予測タスクは重要であり、数多くあります。
各タスクは小さなサイズのラベル付きの例を提供しますが、ラベルのないグラフはさまざまなソースから大規模に収集されています。
従来のアプローチでは、自己監視タスクでラベルのないグラフを使用してモデルをトレーニングし、予測タスクでモデルを微調整します。
しかし、自己管理されたタスクの知識は、予測に必要なものと一致しないか、矛盾する場合がありました。
このホワイトペーパーでは、ラベルのないグラフの大規模なセットの基礎となる知識を特定の有用なデータポイントのセットとして抽出して、各プロパティ予測モデルを強化することを提案します。
拡散モデルを使用して、ラベルのないグラフを十分に活用し、タスク固有のグラフの例とそのラベルを生成するために、各タスクのラベル付きデータを使用してモデルのノイズ除去プロセスをガイドする 2 つの新しい目標を設計します。
実験では、データ中心のアプローチが 15 のタスクで 14 の既存のさまざまな方法よりも大幅に優れていることが示されています。
ラベルなしデータによるパフォーマンスの向上は、自己教師あり学習とは異なり、生成されたラベル付きの例として目に見えます。

要約(オリジナル)

Graph property prediction tasks are important and numerous. While each task offers a small size of labeled examples, unlabeled graphs have been collected from various sources and at a large scale. A conventional approach is training a model with the unlabeled graphs on self-supervised tasks and then fine-tuning the model on the prediction tasks. However, the self-supervised task knowledge could not be aligned or sometimes conflicted with what the predictions needed. In this paper, we propose to extract the knowledge underlying the large set of unlabeled graphs as a specific set of useful data points to augment each property prediction model. We use a diffusion model to fully utilize the unlabeled graphs and design two new objectives to guide the model’s denoising process with each task’s labeled data to generate task-specific graph examples and their labels. Experiments demonstrate that our data-centric approach performs significantly better than fourteen existing various methods on fifteen tasks. The performance improvement brought by unlabeled data is visible as the generated labeled examples unlike self-supervised learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google