On the Correspondence Between Monotonic Max-Sum GNNs and Datalog

要約

機械学習技術を構造化データに適用することに大きな関心が寄せられていますが、そのような技術の表現力 (つまり、何が学習できるかの説明) はまだ十分に理解されていません。
この論文では、グラフ ニューラル ネットワーク (GNN) に基づくデータ変換を研究します。
まず、データセットを GNN で処理可能な数値形式にエンコードする方法の選択によって、モデルの表現力の特徴がわかりにくくなる可能性があることに注意し、正規エンコードが適切な基盤を提供すると主張します。
次に、単調最大合計 GNN の表現力を研究します。これは、最大および合計集計関数を持つ GNN のサブクラスをカバーします。
このような各 GNN について、GNN を任意のデータセットに適用すると、プログラムのルールをデータセットに 1 回適用したのと同じ事実が生成されるような Datalog プログラムを計算できることを示します。
単調最大和 GNN は無制限の数の特徴ベクトルを合計できるため、任意に大きな特徴値を生成できますが、ルール適用では制限された数の定数のみが必要です。
したがって、私たちの結果は、単調最大和 GNN の無制限の合計では表現力が向上しないことを示しています。
3 番目に、最大集計関数のみを使用する単調最大 GNN のサブクラスまで結果をシャープにし、対応する Datalog プログラムのクラスを特定します。

要約(オリジナル)

Although there has been significant interest in applying machine learning techniques to structured data, the expressivity (i.e., a description of what can be learned) of such techniques is still poorly understood. In this paper, we study data transformations based on graph neural networks (GNNs). First, we note that the choice of how a dataset is encoded into a numeric form processable by a GNN can obscure the characterisation of a model’s expressivity, and we argue that a canonical encoding provides an appropriate basis. Second, we study the expressivity of monotonic max-sum GNNs, which cover a subclass of GNNs with max and sum aggregation functions. We show that, for each such GNN, one can compute a Datalog program such that applying the GNN to any dataset produces the same facts as a single round of application of the program’s rules to the dataset. Monotonic max-sum GNNs can sum an unbounded number of feature vectors which can result in arbitrarily large feature values, whereas rule application requires only a bounded number of constants. Hence, our result shows that the unbounded summation of monotonic max-sum GNNs does not increase their expressive power. Third, we sharpen our result to the subclass of monotonic max GNNs, which use only the max aggregation function, and identify a corresponding class of Datalog programs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google