Technical report: Graph Neural Networks go Grammatical

要約

この論文では、代数言語の一部をグラフ ニューラル ネットワーク (GNN) に正式にリンクするフレームワークを提案します。
Context Free Grammars (CFG) に依存して、代数演算を GNN 層モデルに変換できる生成ルールに編成します。
言語から直接派生した CFG のルールと変数には冗長性が含まれているため、GNN 層への変換を容易にする文法削減スキームが提示されています。
この戦略を適用すると、MATLANG から 3 次 Weisfeiler-Lehman (3-WL) テストに準拠した文法が定義されます。
この 3-WL CFG から、G$^2$N$^2$ と呼ばれる証明可能な 3-WL GNN モデルを導出します。
さらに、この文法的アプローチにより、最大 6 までの長さのサイクルとエッジ レベルでの弦サイクルを数える代数式を提供できるようになり、3-WL の計数能力が向上します。
いくつかの実験では、G$^2$N$^2$ が多くの下流タスクにおいて他の 3-WL GNN より効率的に優れていることが示されています。

要約(オリジナル)

This paper proposes a framework to formally link a fragment of an algebraic language to a Graph Neural Network (GNN). It relies on Context Free Grammars (CFG) to organise algebraic operations into generative rules that can be translated into a GNN layer model. Since the rules and variables of a CFG directly derived from a language contain redundancies, a grammar reduction scheme is presented making tractable the translation into a GNN layer. Applying this strategy, a grammar compliant with the third-order Weisfeiler-Lehman (3-WL) test is defined from MATLANG. From this 3-WL CFG, we derive a provably 3-WL GNN model called G$^2$N$^2$. Moreover, this grammatical approach allows us to provide algebraic formulas to count the cycles of length up to six and chordal cycles at the edge level, which enlightens the counting power of 3-WL. Several experiments illustrate that G$^2$N$^2$ efficiently outperforms other 3-WL GNNs on many downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google