MARIO: Model Agnostic Recipe for Improving OOD Generalization of Graph Contrastive Learning

要約

この研究では、グラフ データに対する教師なし学習法の分布外 (OOD) 一般化の問題を調査します。
ラベルが利用可能な場合でも、グラフ ニューラル ネットワーク (GNN) は分布の変化に敏感であることがわかっているため、このシナリオは特に困難です。
この課題に対処するために、教師なしグラフ対比学習法の \underline{O}OD 一般化性を \underline{I} 改善するための \underline{M}odel-\underline{A}gnostic \underline{R} レシピを提案します。
マリオと呼びます。
MARIO は、既存のフレームワークの制限を克服するために、分布シフトに強いグラフ対比手法を開発することを目的とした 2 つの原則を導入しています。(i) 一般化可能な表現を実現するための情報ボトルネック (IB) 原則と、(ii) 不変性を得るために敵対的データ拡張を組み込む不変性原則
表現。
私たちの知る限り、これは、特にノードレベルのタスクに焦点を当てて、グラフ対比学習の OOD 一般化問題を調査した最初の研究です。
広範な実験を通じて、既存のアプローチと比較した場合、私たちの方法が OOD テスト セットで最先端のパフォーマンスを達成しながら、配布内テスト セットで同等のパフォーマンスを維持できることを実証しました。
私たちのメソッドのソース コードは、https://github.com/ZhuYun97/MARIO にあります。

要約(オリジナル)

In this work, we investigate the problem of out-of-distribution (OOD) generalization for unsupervised learning methods on graph data. This scenario is particularly challenging because graph neural networks (GNNs) have been shown to be sensitive to distributional shifts, even when labels are available. To address this challenge, we propose a \underline{M}odel-\underline{A}gnostic \underline{R}ecipe for \underline{I}mproving \underline{O}OD generalizability of unsupervised graph contrastive learning methods, which we refer to as MARIO. MARIO introduces two principles aimed at developing distributional-shift-robust graph contrastive methods to overcome the limitations of existing frameworks: (i) Information Bottleneck (IB) principle for achieving generalizable representations and (ii) Invariant principle that incorporates adversarial data augmentation to obtain invariant representations. To the best of our knowledge, this is the first work that investigates the OOD generalization problem of graph contrastive learning, with a specific focus on node-level tasks. Through extensive experiments, we demonstrate that our method achieves state-of-the-art performance on the OOD test set, while maintaining comparable performance on the in-distribution test set when compared to existing approaches. The source code for our method can be found at: https://github.com/ZhuYun97/MARIO

arxiv情報

提供元, 利用サービス

arxiv.jp, Google