Link Prediction with Untrained Message Passing Layers

要約

メッセージ パッシング ニューラル ネットワーク (MPNN) は、隣接するノード間で情報を交換することによってグラフ上で動作します。
MPNN は、分子科学、コンピューター ビジョン、自然言語処理、組み合わせ最適化などの分野で、さまざまなノード、エッジ、グラフ レベルのタスクに適用されて成功しています。
ただし、ほとんどの MPNN は大量のラベル付きデータのトレーニングを必要とし、コストと時間がかかる可能性があります。
この研究では、グラフ ニューラル ネットワークにおけるさまざまな未訓練のメッセージ パッシング レイヤーの使用を調査します。つまり、メッセージ パッシング ステップでノードの特徴を変換するために使用されるトレーニング可能なパラメーターをすべて削除する、一般的なメッセージ パッシング アーキテクチャのバリアントです。
リンク予測に焦点を当てると、特に高次元の特徴が存在する場合、トレーニングされていないメッセージ パッシング層は、完全にトレーニングされた MPNN と比較して、競争力があり、さらに優れたパフォーマンスを実現できることがわかりました。
トレーニングされていないメッセージ パッシング層によって暗黙的に生成された特徴の内積をパスベースのトポロジカル ノード類似性測定に関連付けることにより、トレーニングされていないメッセージ パッシングの理論的分析を提供します。
したがって、トレーニングされていないメッセージ パッシング アーキテクチャは、リンク予測に対する非常に効率的で解釈可能なアプローチとみなすことができます。

要約(オリジナル)

Message passing neural networks (MPNNs) operate on graphs by exchanging information between neigbouring nodes. MPNNs have been successfully applied to various node-, edge-, and graph-level tasks in areas like molecular science, computer vision, natural language processing, and combinatorial optimization. However, most MPNNs require training on large amounts of labeled data, which can be costly and time-consuming. In this work, we explore the use of various untrained message passing layers in graph neural networks, i.e. variants of popular message passing architecture where we remove all trainable parameters that are used to transform node features in the message passing step. Focusing on link prediction, we find that untrained message passing layers can lead to competitive and even superior performance compared to fully trained MPNNs, especially in the presence of high-dimensional features. We provide a theoretical analysis of untrained message passing by relating the inner products of features implicitly produced by untrained message passing layers to path-based topological node similarity measures. As such, untrained message passing architectures can be viewed as a highly efficient and interpretable approach to link prediction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google