PAC Learnability under Explanation-Preserving Graph Perturbations

要約

グラフィカル モデルは、ソーシャル ネットワーク、生物学、自然言語処理などの幅広いアプリケーションにおけるエンティティ間の関係を捉えます。
グラフ ニューラル ネットワーク (GNN) は、グラフ上で動作するニューラル モデルであり、モデルがグラフ構造データの複雑な関係と依存関係を活用できるようにします。
グラフの説明は、分類ラベルに関する入力グラフの「ほぼ十分な」統計であるサブグラフです。
したがって、分類ラベルは、その説明サブグラフに属さないグラフ エッジの摂動に対して高い確率で不変です。
この研究では、GNN の設計とトレーニングにおいてそのような摂動不変性を利用するための 2 つの方法を検討します。
まず、説明支援型の学習ルールを検討します。
説明支援学習のサンプルの複雑さは、説明に依存しない学習よりも任意に小さくできることが示されています。
次に、説明支援型データ拡張が考慮されます。この場合、元のトレーニング セット内の非説明エッジの摂動を介して新しいトレーニング サンプルを人為的に生成することにより、トレーニング セットが拡大されます。
このようなデータ拡張手法は、拡張データが分布内にある場合にはパフォーマンスを向上させる可能性があるが、拡張データが分布外にある場合には、説明に依存しない学習ルールと比較してサンプルの複雑さが悪化する可能性があることが示されています。
理論的分析を検証するために、広範な実証的評価が提供されます。

要約(オリジナル)

Graphical models capture relations between entities in a wide range of applications including social networks, biology, and natural language processing, among others. Graph neural networks (GNN) are neural models that operate over graphs, enabling the model to leverage the complex relationships and dependencies in graph-structured data. A graph explanation is a subgraph which is an `almost sufficient’ statistic of the input graph with respect to its classification label. Consequently, the classification label is invariant, with high probability, to perturbations of graph edges not belonging to its explanation subgraph. This work considers two methods for leveraging such perturbation invariances in the design and training of GNNs. First, explanation-assisted learning rules are considered. It is shown that the sample complexity of explanation-assisted learning can be arbitrarily smaller than explanation-agnostic learning. Next, explanation-assisted data augmentation is considered, where the training set is enlarged by artificially producing new training samples via perturbation of the non-explanation edges in the original training set. It is shown that such data augmentation methods may improve performance if the augmented data is in-distribution, however, it may also lead to worse sample complexity compared to explanation-agnostic learning rules if the augmented data is out-of-distribution. Extensive empirical evaluations are provided to verify the theoretical analysis.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google