Discrete Graph Auto-Encoder

要約

生成手法の進歩にも関わらず、グラフの分布を正確にモデル化することは依然として困難な作業のままです。これは主に、事前定義された、または固有の一意のグラフ表現が存在しないためです。
この問題に取り組むために、2 つの主な戦略が登場しました。1) ノードをソートすることで可能な表現の数を制限する、または 2) 順列不変/等変関数、特にグラフ ニューラル ネットワーク (GNN) を使用する。
このペーパーでは、両方の戦略の長所を活用し、それぞれの制限を軽減する、Discrete Graph Auto-Encoder (DGAE) という新しいフレームワークを紹介します。
基本的に、2 つのステップで戦略を提案します。
まず、順列等変自動エンコーダを使用して、グラフを離散潜在ノード表現のセットに変換します。各ノードは量子化ベクトルのシーケンスによって表されます。
2 番目のステップでは、離散潜在表現のセットを並べ替え、Transformer アーキテクチャに基づいて特別に設計された自己回帰モデルを使用してそれらの分布を学習します。
複数の実験評価を通じて、さまざまなデータセットにわたる既存の最先端モデルと比較して、モデルの競争力のあるパフォーマンスを実証します。
さまざまなアブレーション研究が私たちの方法の興味深いことを裏付けています。

要約(オリジナル)

Despite advances in generative methods, accurately modeling the distribution of graphs remains a challenging task primarily because of the absence of predefined or inherent unique graph representation. Two main strategies have emerged to tackle this issue: 1) restricting the number of possible representations by sorting the nodes, or 2) using permutation-invariant/equivariant functions, specifically Graph Neural Networks (GNNs). In this paper, we introduce a new framework named Discrete Graph Auto-Encoder (DGAE), which leverages the strengths of both strategies and mitigate their respective limitations. In essence, we propose a strategy in 2 steps. We first use a permutation-equivariant auto-encoder to convert graphs into sets of discrete latent node representations, each node being represented by a sequence of quantized vectors. In the second step, we sort the sets of discrete latent representations and learn their distribution with a specifically designed auto-regressive model based on the Transformer architecture. Through multiple experimental evaluations, we demonstrate the competitive performances of our model in comparison to the existing state-of-the-art across various datasets. Various ablation studies support the interest of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google