SEGA: Structural Entropy Guided Anchor View for Graph Contrastive Learning

要約

対照学習では、「ビュー」の選択によって、表現が捕捉する情報が制御され、モデルのパフォーマンスに影響を与えます。
ただし、主要なグラフ対比学習手法は一般に、ランダムな破損または学習を介してビューを生成するため、重要な情報の損失や意味情報の変更につながる可能性があります。
対照学習のための入力グラフの重要な情報を維持するアンカー ビューはほとんど研究されていません。
この論文では、グラフ情報ボトルネックの理論に基づいて、このアンカー ビューの定義を推定します。
別の言い方をすると、\textit{入力グラフの重要な情報を含むアンカー ビューには、最小限の構造的不確実性があるはずです}。
さらに、構造エントロピーに基づいて、グラフ対比学習用に \textbf{SEGA} と呼ばれるアンカー ビューを実装します。
私たちは、教師なし、半教師あり、転移学習の下でのグラフ分類に関するさまざまなベンチマークで、提案されたアンカー ビューを広範囲に検証し、最先端の手法と比較して大幅なパフォーマンス向上を達成しました。

要約(オリジナル)

In contrastive learning, the choice of “view” controls the information that the representation captures and influences the performance of the model. However, leading graph contrastive learning methods generally produce views via random corruption or learning, which could lead to the loss of essential information and alteration of semantic information. An anchor view that maintains the essential information of input graphs for contrastive learning has been hardly investigated. In this paper, based on the theory of graph information bottleneck, we deduce the definition of this anchor view; put differently, \textit{the anchor view with essential information of input graph is supposed to have the minimal structural uncertainty}. Furthermore, guided by structural entropy, we implement the anchor view, termed \textbf{SEGA}, for graph contrastive learning. We extensively validate the proposed anchor view on various benchmarks regarding graph classification under unsupervised, semi-supervised, and transfer learning and achieve significant performance boosts compared to the state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google