Diffusion Probabilistic Models for Graph-Structured Prediction

要約

この論文では、ノード単位またはエッジ単位のターゲット依存関係を持つグラフでの教師あり学習のためのグラフ構造予測について研究します。
この問題を解決するために、最近の研究では、グラフ ニューラル ネットワーク (GNN) を、条件付きランダム フィールドなどの従来の構造化予測アルゴリズムと組み合わせて調査しました。
ただし、この作業では、拡散確率モデル (DPM) の最近の成功に基づいて、別の方向性を追求します。
つまり、DPMを使用してグラフ構造の予測を行う新しいフレームワークを提案します。
完全に監視された設定では、DPM は、近くのターゲットの推定に基づいて各ターゲットの推定を繰り返し更新することにより、ターゲットの依存関係をキャプチャします。
また、半教師あり設定でDPMをトレーニングするための変分期待値最大化アルゴリズムも提案します。
大規模な実験により、私たちのフレームワークが、誘導および変換ノード分類に関する既存のニューラル構造化予測モデルよりも一貫して優れていることが確認されています。
また、アルゴリズム推論タスクのフレームワークの競争力のあるパフォーマンスも示しています。

要約(オリジナル)

This paper studies graph-structured prediction for supervised learning on graphs with node-wise or edge-wise target dependencies. To solve this problem, recent works investigated combining graph neural networks (GNNs) with conventional structured prediction algorithms like conditional random fields. However, in this work, we pursue an alternative direction building on the recent successes of diffusion probabilistic models (DPMs). That is, we propose a new framework using DPMs to make graph-structured predictions. In the fully supervised setting, our DPM captures the target dependencies by iteratively updating each target estimate based on the estimates of nearby targets. We also propose a variational expectation maximization algorithm to train our DPM in the semi-supervised setting. Extensive experiments verify that our framework consistently outperforms existing neural structured prediction models on inductive and transductive node classification. We also demonstrate the competitive performance of our framework for algorithmic reasoning tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google