Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias

要約

属性付きグラフで学習するノード表現は、ノードが豊富な属性 (テキストやタンパク質配列など) に関連付けられており、多くの重要な下流タスクで重要な役割を果たします。
属性とグラフ構造を同時にエンコードするために、最近の研究では、事前トレーニングされたモデルをグラフ ニューラル ネットワーク (GNN) と統合し、事前トレーニングされたモデルが属性をエンコードするノード エンコーダー (NE) として機能します。
大規模なグラフ上で大規模な NE と GNN を共同トレーニングすると深刻なスケーラビリティの問題が生じるため、多くの方法では NE と GNN を個別にトレーニングすることが提案されています。
その結果、NE のトレーニング段階では GNN の特徴畳み込みが考慮されず、共同トレーニングによる学習バイアスから大きな学習バイアスが生じます。
この課題に対処するために、GNN の逆マッピングに対する新規でスケーラブルな近似によって学習バイアスを軽減する、効率的なラベル正​​則化手法、つまりラベル デコンボリューション (LD) を提案します。
逆マッピングは、共同トレーニングによる目的関数と同等の目的関数をもたらしますが、学習バイアスに対して NE のトレーニング段階に GNN を効果的に組み込むことができます。
さらに重要なことは、マイルドな仮定の下での共同トレーニングによって LD が最適な目的関数値に収束することを示します。
実験では、LD が Open Graph Benchmark データセットで最先端の手法を大幅に上回るパフォーマンスを示しています。

要約(オリジナル)

Node representation learning on attributed graphs — whose nodes are associated with rich attributes (e.g., texts and protein sequences) — plays a crucial role in many important downstream tasks. To encode the attributes and graph structures simultaneously, recent studies integrate pre-trained models with graph neural networks (GNNs), where pre-trained models serve as node encoders (NEs) to encode the attributes. As jointly training large NEs and GNNs on large-scale graphs suffers from severe scalability issues, many methods propose to train NEs and GNNs separately. Consequently, they do not take feature convolutions in GNNs into consideration in the training phase of NEs, leading to a significant learning bias from that by the joint training. To address this challenge, we propose an efficient label regularization technique, namely Label Deconvolution (LD), to alleviate the learning bias by a novel and highly scalable approximation to the inverse mapping of GNNs. The inverse mapping leads to an objective function that is equivalent to that by the joint training, while it can effectively incorporate GNNs in the training phase of NEs against the learning bias. More importantly, we show that LD converges to the optimal objective function values by thejoint training under mild assumptions. Experiments demonstrate LD significantly outperforms state-of-the-art methods on Open Graph Benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google