All Nodes are created Not Equal: Node-Specific Layer Aggregation and Filtration for GNN

要約

絶えず設計されているグラフ ニューラル ネットワークは、グラフ構造データのモデリングに有望な道を切り開いていますが、残念なことに、デバイスへの展開には 2 つの困難な障害が生じています。
(I) 既存の GNN のほとんどは浅く、畳み込みアーキテクチャとして深くなるにつれて過剰な平滑化と勾配消失の問題が主な原因です。
(II) 大多数の GNN は、中央ノードとその隣接ノードが同じラベルを共有するという同質性の仮定に従います。
この仮定は、異好性グラフを扱う多くの GNN にとってしばしば課題となります。
前述の問題に対処することは、GNN アプリケーションの堅牢性とスケーラビリティを強化する上で差し迫った課題となっています。
この文書では、前述の 2 つの課題を初めて克服するための包括的かつ体系的なアプローチを採用します。
我々は、個々のノードからの情報をフィルタリングおよび処理できるフレームワークである、NoSAF と呼ばれるノード固有のレイヤー集約およびフィルタリング アーキテクチャを提案します。
NoSAF は、「すべてのノードは等しくないように作成される」という概念をディープ ネットワークのすべての層に導入し、各層のノードに信頼できる情報フィルターを提供して、後続の層に有益な情報をふるい分けることを目的としています。
NoSAF は、動的に更新されるコードバンクを組み込むことにより、各層で下方に出力される最適な情報を動的に最適化します。
これは異好性の問題を効果的に克服し、ネットワークを深めるのに役立ちます。
NoSAF の連続フィルタリングによって引き起こされる情報損失を補償するために、モデルのすべての層に情報を補充する補償メカニズムを組み込んだ NoSAF-D (ディープ) も提案します。これにより、NoSAF は非常に深い層でも意味のある計算を実行できるようになります。
。

要約(オリジナル)

The ever-designed Graph Neural Networks, though opening a promising path for the modeling of the graph-structure data, unfortunately introduce two daunting obstacles to their deployment on devices. (I) Most of existing GNNs are shallow, due mostly to the over-smoothing and gradient-vanish problem as they go deeper as convolutional architectures. (II) The vast majority of GNNs adhere to the homophily assumption, where the central node and its adjacent nodes share the same label. This assumption often poses challenges for many GNNs working with heterophilic graphs. Addressing the aforementioned issue has become a looming challenge in enhancing the robustness and scalability of GNN applications. In this paper, we take a comprehensive and systematic approach to overcoming the two aforementioned challenges for the first time. We propose a Node-Specific Layer Aggregation and Filtration architecture, termed NoSAF, a framework capable of filtering and processing information from each individual nodes. NoSAF introduces the concept of ‘All Nodes are Created Not Equal’ into every layer of deep networks, aiming to provide a reliable information filter for each layer’s nodes to sieve out information beneficial for the subsequent layer. By incorporating a dynamically updated codebank, NoSAF dynamically optimizes the optimal information outputted downwards at each layer. This effectively overcomes heterophilic issues and aids in deepening the network. To compensate for the information loss caused by the continuous filtering in NoSAF, we also propose NoSAF-D (Deep), which incorporates a compensation mechanism that replenishes information in every layer of the model, allowing NoSAF to perform meaningful computations even in very deep layers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google