RARE: Robust Masked Graph Autoencoder

要約

タイトル：Robust Masked Graph Autoencoder（堅牢なマスクグラフ自己符号化器）

要約：

– マスクグラフ自己符号化器（MGAE）は、シンプルで効果的な自己教師ありグラフ事前学習（SGP）のパラダイムとして有望である。
– しかし、既存の方法は、コンピュータビジョン（CV）や自然言語処理（NLP）分野で行われているように、生データ空間でのマスク – 再構築操作を実行するが、グラフデータの重要な非ユークリッド性を無視する。
– 結果として、非常に不安定なローカル接続構造は、マスクされたデータの推測の不確実性を大幅に増加させ、自己教師信号の信頼性を減少させ、下位評価のための劣った表現をもたらす。
– この問題を解決するために、本研究では、高次元の潜在的特徴空間でノードサンプルをマスクして再構築することで、推測の確実性と自己教師メカニズムの信頼性を向上させる、Robust mAsked gRaph autoEncoder（RARE）という新しいSGP方法を提案する。
– 理論的および実証的分析により、潜在的特徴空間と生データ空間の両方でジョイントマスク – 再構築戦略を実行することで、改善された安定性とパフォーマンスを獲得できることがわかった。
– このために、マスクされたノードの潜在的特徴を予測するマスキングされた潜在特徴の完了スキームを設計した。
– 具体的には、潜在的特徴予測器を使用して、可視部分からマスクされた潜在的特徴を予測する。
– 次に、運動量グラフエンコーダーを使用して、マスクされたサンプルの生データをエンコードし、その表現を使用して、潜在的特徴の一致を改善する。
– 17のデータセットでの広範な実験により、RAREが、3つの下流タスクにわたって、最先端の競合者に対して効果的で堅牢であることが示された。

要約(オリジナル)

Masked graph autoencoder (MGAE) has emerged as a promising self-supervised graph pre-training (SGP) paradigm due to its simplicity and effectiveness. However, existing efforts perform the mask-then-reconstruct operation in the raw data space as is done in computer vision (CV) and natural language processing (NLP) areas, while neglecting the important non-Euclidean property of graph data. As a result, the highly unstable local connection structures largely increase the uncertainty in inferring masked data and decrease the reliability of the exploited self-supervision signals, leading to inferior representations for downstream evaluations. To address this issue, we propose a novel SGP method termed Robust mAsked gRaph autoEncoder (RARE) to improve the certainty in inferring masked data and the reliability of the self-supervision mechanism by further masking and reconstructing node samples in the high-order latent feature space. Through both theoretical and empirical analyses, we have discovered that performing a joint mask-then-reconstruct strategy in both latent feature and raw data spaces could yield improved stability and performance. To this end, we elaborately design a masked latent feature completion scheme, which predicts latent features of masked nodes under the guidance of high-order sample correlations that are hard to be observed from the raw data perspective. Specifically, we first adopt a latent feature predictor to predict the masked latent features from the visible ones. Next, we encode the raw data of masked samples with a momentum graph encoder and subsequently employ the resulting representations to improve predicted results through latent feature matching. Extensive experiments on seventeen datasets have demonstrated the effectiveness and robustness of RARE against state-of-the-art (SOTA) competitors across three downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI