Improving Node Representation by Boosting Target-Aware Contrastive Loss

要約

グラフはエンティティ間の複雑な関係をモデル化し、ノードとエッジは複雑なつながりを表現する。ノード表現学習では、ノードを低次元の埋め込みに変換する。これらの埋め込みは通常、下流のタスクの特徴として使用される。したがって、その品質はタスクのパフォーマンスに大きな影響を与える。ノード表現学習のための既存のアプローチは、（半）教師あり、教師なし、自己教師ありのパラダイムにまたがる。グラフ領域では、(半)教師あり学習はしばしばクラスラベルに基づくモデルのみを最適化し、他の豊富なグラフ信号を無視するため、汎化が制限される。自己教師付き学習や教師なし学習は、グラフの根底にあるシグナルをより良く捉えた表現を生成するが、これらの捉えられたシグナルの下流のターゲットタスクに対する有用性は様々である。このギャップを埋めるために、我々は、自己教師付き学習プロセスにより、ターゲットタスクとノード表現間の相互情報を最大化することで、ターゲットタスクの性能を向上させることを目的とした、ターゲット考慮対照学習(Target-aware Contrastive Learning: Target-awareCL)を導入する。これはXGBoost Sampler (XGSampler)と呼ばれるサンプリング機能により実現され、提案するTarget-Aware Contrastive Loss (XTCL)のための適切な正例をサンプリングする。XTCLを最小化することで、ターゲット考慮CLはターゲットタスクとノード表現間の相互情報を増加させ、モデルの汎化を改善する。さらに、XGSamplerは、適切な正例をサンプリングするための重みを示すことにより、各信号の解釈可能性を向上させる。XTCLが2つのターゲットタスク、すなわちノード分類とリンク予測タスクにおいて、最先端のモデルと比較して性能を大幅に改善することを実験的に示す。

要約(オリジナル)

Graphs model complex relationships between entities, with nodes and edges capturing intricate connections. Node representation learning involves transforming nodes into low-dimensional embeddings. These embeddings are typically used as features for downstream tasks. Therefore, their quality has a significant impact on task performance. Existing approaches for node representation learning span (semi-)supervised, unsupervised, and self-supervised paradigms. In graph domains, (semi-)supervised learning often only optimizes models based on class labels, neglecting other abundant graph signals, which limits generalization. While self-supervised or unsupervised learning produces representations that better capture underlying graph signals, the usefulness of these captured signals for downstream target tasks can vary. To bridge this gap, we introduce Target-Aware Contrastive Learning (Target-aware CL) which aims to enhance target task performance by maximizing the mutual information between the target task and node representations with a self-supervised learning process. This is achieved through a sampling function, XGBoost Sampler (XGSampler), to sample proper positive examples for the proposed Target-Aware Contrastive Loss (XTCL). By minimizing XTCL, Target-aware CL increases the mutual information between the target task and node representations, such that model generalization is improved. Additionally, XGSampler enhances the interpretability of each signal by showing the weights for sampling the proper positive examples. We show experimentally that XTCL significantly improves the performance on two target tasks: node classification and link prediction tasks, compared to state-of-the-art models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL