Content Augmented Graph Neural Networks

要約

近年、グラフ ニューラル ネットワーク (GNN) は、グラフに関するさまざまな問題を解決するための一般的なツールとなっています。
これらのモデルでは、通常、グラフのリンク構造が利用され、ノードの埋め込みが隣接するノードに基づいて繰り返し更新されます。
ノードのコンテンツは特徴ベクトルの形式でのみ使用され、ノードの最初の層の埋め込みとして機能します。
ただし、反復/レイヤー中にこれらの初期埋め込みに適用されるフィルターまたは畳み込みは、その影響が減少し、最終的な埋め込みにはほとんど寄与しません。
この問題に対処するために、この論文では、上位の GNN 層でノードのコンテンツから生成されるエンベディングによってノードのエンベディングを強化することを提案します。
より正確には、GNN を使用した構造埋め込みとコンテンツ埋め込みがノードごとに計算されるモデルを提案します。
これら 2 つは結合レイヤーを使用して結合され、特定のレイヤーにノードの埋め込みが形成されます。
コンテンツの埋め込みを生成するには、自動エンコーダーの使用やコンテンツ グラフの構築などの方法をお勧めします。
最終的に、いくつかの実世界のデータセットに対して実験を行うことで、モデルの高い精度とパフォーマンスを実証します。

要約(オリジナル)

In recent years, graph neural networks (GNNs) have become a popular tool for solving various problems over graphs. In these models, the link structure of the graph is typically exploited and nodes’ embeddings are iteratively updated based on adjacent nodes. Nodes’ contents are used solely in the form of feature vectors, served as nodes’ first-layer embeddings. However, the filters or convolutions, applied during iterations/layers to these initial embeddings lead to their impact diminish and contribute insignificantly to the final embeddings. In order to address this issue, in this paper we propose augmenting nodes’ embeddings by embeddings generating from their content, at higher GNN layers. More precisely, we propose models wherein a structural embedding using a GNN and a content embedding are computed for each node. These two are combined using a combination layer to form the embedding of a node at a given layer. We suggest methods such as using an auto-encoder or building a content graph, to generate content embeddings. In the end, by conducting experiments over several real-world datasets, we demonstrate the high accuracy and performance of our models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google