Every Node is Different: Dynamically Fusing Self-Supervised Tasks for Attributed Graph Clustering

要約

属性付きグラフ クラスタリングは、ノードを異なるグループに分割する教師なしタスクです。
自己教師あり学習 (SSL) は、このタスクの処理に大きな可能性を示しており、いくつかの最近の研究では、複数の SSL タスクを同時に学習してパフォーマンスをさらに向上させています。
現在、さまざまな SSL タスクには、すべてのグラフ ノードに対して同じ重みのセットが割り当てられています。
ただし、近隣ノードが異なるグループに属している一部のグラフ ノードは、SSL タスクに対して大幅に異なる重点を必要とすることがわかります。
このペーパーでは、さまざまなノードの SSL タスクの重みを動的に学習し、さまざまな SSL タスクから学習した埋め込みを融合してパフォーマンスを向上させることを提案します。
私たちは、革新的なグラフ クラスタリング アプローチ、つまり動的融合自己教師あり学習 (DyFSS) を設計します。
具体的には、DyFSS は、ゲーティング ネットワークから得られる個別の重みを使用して、さまざまな SSL タスクから抽出された機能を融合します。
ゲーティング ネットワークを効果的に学習するために、擬似ラベルとグラフ構造を組み込んだデュアルレベルの自己教師あり戦略を設計します。
5 つのデータセットに対する広範な実験により、DyFSS が精度指標において最先端のマルチタスク SSL 手法よりも最大 8.66% 優れていることが示されました。
DyFSS のコードは https://github.com/q086/DyFSS で入手できます。

要約(オリジナル)

Attributed graph clustering is an unsupervised task that partitions nodes into different groups. Self-supervised learning (SSL) shows great potential in handling this task, and some recent studies simultaneously learn multiple SSL tasks to further boost performance. Currently, different SSL tasks are assigned the same set of weights for all graph nodes. However, we observe that some graph nodes whose neighbors are in different groups require significantly different emphases on SSL tasks. In this paper, we propose to dynamically learn the weights of SSL tasks for different nodes and fuse the embeddings learned from different SSL tasks to boost performance. We design an innovative graph clustering approach, namely Dynamically Fusing Self-Supervised Learning (DyFSS). Specifically, DyFSS fuses features extracted from diverse SSL tasks using distinct weights derived from a gating network. To effectively learn the gating network, we design a dual-level self-supervised strategy that incorporates pseudo labels and the graph structure. Extensive experiments on five datasets show that DyFSS outperforms the state-of-the-art multi-task SSL methods by up to 8.66% on the accuracy metric. The code of DyFSS is available at: https://github.com/q086/DyFSS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google