Rethinking Dimensional Rationale in Graph Contrastive Learning from Causal Perspective

要約

グラフ対比学習は、グラフ内のさまざまな摂動から不変情報を捕捉することに優れた一般的な学習パラダイムです。
最近の研究は、グラフから構造的根拠を探ることに焦点を当てており、それによって不変情報の識別可能性が向上します。
ただし、このような方法では、グラフの解釈可能性に対するグラフ モデルの誤学習が発生する可能性があり、学習されたノイズの多いタスクに依存しない情報がグラフの予測を妨げます。
この目的を達成するために、グラフの本質的な理論的根拠を探ることを目的として、文献では十分に注目されていないグラフから次元的理論的根拠を捉えることを提案します。
実施された探索的実験は、前述のロードマップの実現可能性を証明しています。
次元的根拠に起因するパフォーマンス向上の背後にある固有のメカニズムを解明するために、グラフ対比学習における次元的根拠を因果関係の観点から再考し、事前学習段階で変数間の因果関係をさらに形式化し、対応する構造的因果モデルを構築します。
構造的因果モデルの理解に基づいて、学習可能な次元的根拠獲得ネットワークと冗長削減制約を導入する次元的根拠を意識したグラフ対比学習アプローチを提案します。
学習可能な次元理論的根拠取得ネットワークは、バイレベル メタ学習技術を利用して更新され、冗長削減制約は、学習中の非相関プロセスを通じて冗長な特徴を解きほぐします。
経験的に、最先端の方法と比較して、私たちの方法は、識別性と転送可能性に関してさまざまなベンチマークで大幅なパフォーマンス向上をもたらします。
私たちのメソッドのコード実装は https://github.com/ByronJi/DRGCL で入手できます。

要約(オリジナル)

Graph contrastive learning is a general learning paradigm excelling at capturing invariant information from diverse perturbations in graphs. Recent works focus on exploring the structural rationale from graphs, thereby increasing the discriminability of the invariant information. However, such methods may incur in the mis-learning of graph models towards the interpretability of graphs, and thus the learned noisy and task-agnostic information interferes with the prediction of graphs. To this end, with the purpose of exploring the intrinsic rationale of graphs, we accordingly propose to capture the dimensional rationale from graphs, which has not received sufficient attention in the literature. The conducted exploratory experiments attest to the feasibility of the aforementioned roadmap. To elucidate the innate mechanism behind the performance improvement arising from the dimensional rationale, we rethink the dimensional rationale in graph contrastive learning from a causal perspective and further formalize the causality among the variables in the pre-training stage to build the corresponding structural causal model. On the basis of the understanding of the structural causal model, we propose the dimensional rationale-aware graph contrastive learning approach, which introduces a learnable dimensional rationale acquiring network and a redundancy reduction constraint. The learnable dimensional rationale acquiring network is updated by leveraging a bi-level meta-learning technique, and the redundancy reduction constraint disentangles the redundant features through a decorrelation process during learning. Empirically, compared with state-of-the-art methods, our method can yield significant performance boosts on various benchmarks with respect to discriminability and transferability. The code implementation of our method is available at https://github.com/ByronJi/DRGCL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google