ENGAGE: Explanation Guided Data Augmentation for Graph Representation Learning

要約

最近の対照学習法は、表現学習における有効性により、グラフ データのモデリングに広く適用されています。
ランダム摂動は、グラフ データの対照的なビューを構築するために広く使用されていますが、誤ってグラフ構造を壊し、次善のパフォーマンスを引き起こす可能性があります。
さらに、グラフ データは通常高度に抽象化されているため、直感的な意味を抽出したり、より多くの情報に基づいた拡張スキームを設計したりすることは困難です。
効果的な表現では、データの主要な特性を保持し、余分な情報を放棄する必要があります。
この論文では、ENGAGE (ExplaNation Guided data AuGmEntation) を提案します。ENGAGE (ExplaNation Guided data AuGmEntation) では、説明が対比拡張プロセスをガイドして、グラフ内の重要な部分を保存し、余分な情報の削除を検討します。
具体的には、表現学習におけるノード重要度の指標として、平滑化活性化マップと呼ばれる効率的な教師なし説明手法を設計します。
次に、構造情報と特徴情報をそれぞれ摂動させるために、グラフ上で 2 つのデータ拡張スキームを設計します。
また、情報理論の枠組みにおける提案された方法の正当性も示します。
ENGAGE の有効性と柔軟性を実証するために、さまざまなモデル アーキテクチャおよびさまざまな現実世界のグラフ上で、グラフ レベルとノード レベルの両方のタスクの実験が実施されます。
ENGAGE のコードは https://github.com/sycny/ENGAGE にあります。

要約(オリジナル)

The recent contrastive learning methods, due to their effectiveness in representation learning, have been widely applied to modeling graph data. Random perturbation is widely used to build contrastive views for graph data, which however, could accidentally break graph structures and lead to suboptimal performance. In addition, graph data is usually highly abstract, so it is hard to extract intuitive meanings and design more informed augmentation schemes. Effective representations should preserve key characteristics in data and abandon superfluous information. In this paper, we propose ENGAGE (ExplaNation Guided data AuGmEntation), where explanation guides the contrastive augmentation process to preserve the key parts in graphs and explore removing superfluous information. Specifically, we design an efficient unsupervised explanation method called smoothed activation map as the indicator of node importance in representation learning. Then, we design two data augmentation schemes on graphs for perturbing structural and feature information, respectively. We also provide justification for the proposed method in the framework of information theories. Experiments of both graph-level and node-level tasks, on various model architectures and on different real-world graphs, are conducted to demonstrate the effectiveness and flexibility of ENGAGE. The code of ENGAGE can be found: https://github.com/sycny/ENGAGE.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google