Graph Self-Contrast Representation Learning

要約

グラフ対比学習 (GCL) は、グラフ表現学習の有望なアプローチとして最近登場しました。
既存の手法の中には、1-vs-K スキームを採用してグラフごとに 1 つの正のサンプルと K の負のサンプルを構築するものもありますが、K を設定するのは困難です。負のサンプルを使用しない方法では、多くの場合、追加の戦略を追加する必要があります。
モデルの崩壊を回避します。これにより、問題はある程度軽減されるだけです。
これらすべての欠点は、間違いなくモデルの一般化性と効率に悪影響を及ぼします。
この論文では、これらの問題に対処するために、新しいグラフ セルフコントラスト フレームワーク GraphSC を提案します。これは、1 つの陽性サンプルと 1 つの陰性サンプルのみを使用し、目的として三重項損失を選択します。
具体的には、自己コントラストには 2 つの意味があります。
まず、GraphSC は、さまざまな強度のグラフ拡張関数を使用して、グラフ自体からグラフ サンプルの肯定的なビューと否定的なビューの両方を生成し、それらを自己コントラストに使用します。
第 2 に、GraphSC はヒルベルト・シュミット独立基準 (HSIC) を使用して表現を複数の因子に因数分解し、陽性サンプルと陰性サンプルをより適切に分離するためのマスクされた自己コントラスト メカニズムを提案します。
さらに、三重項損失はアンカーとそのポジティブ/ネガティブサンプル間の相対距離を最適化するだけであるため、アンカーとポジティブサンプル間の絶対的な距離を確保することは困難です。
したがって、収束を加速するために、アンカーと陽性サンプルの間の絶対距離を明示的に短縮しました。
最後に、教師なし学習設定と転移学習設定の両方で、他の 19 の最先端の手法に対して GraphSC のパフォーマンスを評価するための大規模な実験を実施します。

要約(オリジナル)

Graph contrastive learning (GCL) has recently emerged as a promising approach for graph representation learning. Some existing methods adopt the 1-vs-K scheme to construct one positive and K negative samples for each graph, but it is difficult to set K. For those methods that do not use negative samples, it is often necessary to add additional strategies to avoid model collapse, which could only alleviate the problem to some extent. All these drawbacks will undoubtedly have an adverse impact on the generalizability and efficiency of the model. In this paper, to address these issues, we propose a novel graph self-contrast framework GraphSC, which only uses one positive and one negative sample, and chooses triplet loss as the objective. Specifically, self-contrast has two implications. First, GraphSC generates both positive and negative views of a graph sample from the graph itself via graph augmentation functions of various intensities, and use them for self-contrast. Second, GraphSC uses Hilbert-Schmidt Independence Criterion (HSIC) to factorize the representations into multiple factors and proposes a masked self-contrast mechanism to better separate positive and negative samples. Further, Since the triplet loss only optimizes the relative distance between the anchor and its positive/negative samples, it is difficult to ensure the absolute distance between the anchor and positive sample. Therefore, we explicitly reduced the absolute distance between the anchor and positive sample to accelerate convergence. Finally, we conduct extensive experiments to evaluate the performance of GraphSC against 19 other state-of-the-art methods in both unsupervised and transfer learning settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google