Graph Construction using Principal Axis Trees for Simple Graph Convolution

要約

グラフ ニューラル ネットワーク (GNN) は、グラフ学習の方法としてますます人気が高まっています。
ディープ ラーニングの半教師ありの性質を活用し、従来のグラフ学習方法に関連する計算上のボトルネックを回避します。
特徴行列 $X$ に加えて、GNN は特徴伝播を実行するために隣接行列 $A$ を必要とします。
多くの場合、隣接行列 $A$ が欠落しています。
教師なし情報と教師あり情報を使用して隣接行列 $A$ を構築するグラフ構築スキームを導入します。
監視されていない情報は、ポイント周辺の近隣を特徴付けます。
教師なし情報のソースとして主軸ツリー (PA ツリー) を使用し、同じリーフ ノードに落ちるポイント間にエッジを作成しました。
教師あり情報については、ペナルティと固有グラフの概念を使用しました。
ペナルティ グラフは異なるクラス ラベルを持つポイントを接続しますが、固有グラフは同じクラス ラベルを持つポイントを接続します。
ペナルティと固有のグラフを使用して、PA ツリーを介して構築されたグラフのエッジを削除または追加しました。
このグラフ構築スキームは、1) グラフ畳み込みネットワーク (GCN) と 2) 単純グラフ畳み込み (SGC) の 2 つのよく知られた GNN でテストされました。
実験では、SGC の方が高速であり、GCN よりも優れた結果または同等の結果が得られるため、SGC を使用する方が優れていることが示されています。
また、GCN と SGC の両方に対するオーバースムージングの効果もテストします。
過剰な平滑化を避けるために、SGC では平滑化のレベルを慎重に選択する必要があることがわかりました。

要約(オリジナル)

Graph Neural Networks (GNNs) are increasingly becoming the favorite method for graph learning. They exploit the semi-supervised nature of deep learning, and they bypass computational bottlenecks associated with traditional graph learning methods. In addition to the feature matrix $X$, GNNs need an adjacency matrix $A$ to perform feature propagation. In many cases the adjacency matrix $A$ is missing. We introduce a graph construction scheme that construct the adjacency matrix $A$ using unsupervised and supervised information. Unsupervised information characterize the neighborhood around points. We used Principal Axis trees (PA-trees) as a source of unsupervised information, where we create edges between points falling onto the same leaf node. For supervised information, we used the concept of penalty and intrinsic graphs. A penalty graph connects points with different class labels, whereas intrinsic graph connects points with the same class label. We used the penalty and intrinsic graphs to remove or add edges to the graph constructed via PA-tree. This graph construction scheme was tested on two well-known GNNs: 1) Graph Convolutional Network (GCN) and 2) Simple Graph Convolution (SGC). The experiments show that it is better to use SGC because it is faster and delivers better or the same results as GCN. We also test the effect of oversmoothing on both GCN and SGC. We found out that the level of smoothing has to be selected carefully for SGC to avoid oversmoothing.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google