GRAF: Graph Attention-aware Fusion Networks

要約

多数の実世界のネットワークには、複数のタイプのノードとエッジが含まれています。
グラフ ニューラル ネットワーク (GNN) は、優れたパフォーマンスを示すグラフ構造データのノード機能を利用するディープ ラーニング フレームワークとして登場しました。
ただし、一般的な GNN ベースのアーキテクチャは、1 つの同種ネットワーク上で動作します。
それらが複数のネットワークで動作できるようにすると、ネットワークの異質性と既存の関連付けの多様性により、追加の課題が生じます。
この研究では、注意メカニズムとネットワーク融合の助けを借りて、複数のネットワークでGNNベースのアプローチを利用するGRAFという名前の計算アプローチを提示します。
GRAF は、アテンション ベースの近隣アグリゲーションを使用して、ノードごとの各ネイバーの重要性 (ノード レベルのアテンションと呼ばれます) を学習し、続いて関連付けの重要性 (アソシエーション レベルのアテンションと呼ばれます) を階層的に学習します。
次に、GRAF は、学習したノード レベルおよびアソシエーション レベルの注意に従って各エッジを重み付けするネットワーク フュージョン ステップを処理します。
融合ネットワークは、指定された入力ネットワークに応じて多くの弱いエッジを持つ高密度ネットワークになる可能性があることを考慮して、エッジの重みに関するエッジ除去ステップを含めました。
最後に、GRAF は融合ネットワーク上でグラフ畳み込みネットワーク (GCN) を利用し、予測タスクまたはその他のダウンストリーム分析のためにグラフ構造データにノード機能を組み込みます。
さまざまなドメインからの予測タスクの広範な評価により、GRAF が最先端の方法よりも優れていることが示されました。
学習したノード レベルおよびアソシエーション レベルの注意を利用することで、エッジに適切な優先順位を付けることができました。
ツールのソース コードは、https://github.com/bozdaglab/GRAF で公開されています。

要約(オリジナル)

A large number of real-world networks include multiple types of nodes and edges. Graph Neural Network (GNN) emerged as a deep learning framework to utilize node features on graph-structured data showing superior performance. However, popular GNN-based architectures operate on one homogeneous network. Enabling them to work on multiple networks brings additional challenges due to the heterogeneity of the networks and the multiplicity of the existing associations. In this study, we present a computational approach named GRAF utilizing GNN-based approaches on multiple networks with the help of attention mechanisms and network fusion. Using attention-based neighborhood aggregation, GRAF learns the importance of each neighbor per node (called node-level attention) followed by the importance of association (called association-level attention) in a hierarchical way. Then, GRAF processes a network fusion step weighing each edge according to learned node- and association-level attention, which results in a fused enriched network. Considering that the fused network could be a highly dense network with many weak edges depending on the given input networks, we included an edge elimination step with respect to edges’ weights. Finally, GRAF utilizes Graph Convolutional Network (GCN) on the fused network and incorporates the node features on the graph-structured data for the prediction task or any other downstream analysis. Our extensive evaluations of prediction tasks from different domains showed that GRAF outperformed the state-of-the-art methods. Utilization of learned node-level and association-level attention allowed us to prioritize the edges properly. The source code for our tool is publicly available at https://github.com/bozdaglab/GRAF.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google