Latent Graph Inference with Limited Supervision

要約

潜在グラフ推論 (LGI) は、データ特徴から基礎となるグラフ構造とノード表現を共同で学習することを目的としています。
ただし、既存の LGI 手法は一般に、大量のエッジの重みが意味論的な監視なしで学習され、トレーニング損失に寄与しない、監視不足の問題に悩まされています。
その結果、テストサンプルの予測を決定する可能性があるこれらの監視不足の重みは意味的に最適化できず、一般化が不十分になります。
この論文では、この問題が実際にはグラフのスパース化操作によって引き起こされていることがわかりました。この操作により、重要なノードとラベル付きノードの間に確立された重要な接続が大幅に破壊されます。
これに対処するために、破損したアフィニティを復元し、LGI を改善するために失われた監視を補充することを提案します。
重要な課題は、重要なノードを特定し、破損したアフィニティを回復することです。
まず、ピボット ノードを $k$ ホップ不足ノードとして定義します。これは、指定された隣接行列に基づいて識別できます。
高い計算負荷を考慮して、CUR 行列分解にヒントを得たより効率的な代替案をさらに提示します。
その後、破壊された接続を再構築することで、飢餓状態のノードを排除します。
代表的なベンチマークに関する広範な実験により、スターブド ノードを減らすと、特に非常に限定された監視の下で、最先端の LGI メソッドのパフォーマンスが一貫して向上することが実証されました (Pubmed ではわずか 0.3% のラベル付け率で 6.12% の向上)。

要約(オリジナル)

Latent graph inference (LGI) aims to jointly learn the underlying graph structure and node representations from data features. However, existing LGI methods commonly suffer from the issue of supervision starvation, where massive edge weights are learned without semantic supervision and do not contribute to the training loss. Consequently, these supervision-starved weights, which may determine the predictions of testing samples, cannot be semantically optimal, resulting in poor generalization. In this paper, we observe that this issue is actually caused by the graph sparsification operation, which severely destroys the important connections established between pivotal nodes and labeled ones. To address this, we propose to restore the corrupted affinities and replenish the missed supervision for better LGI. The key challenge then lies in identifying the critical nodes and recovering the corrupted affinities. We begin by defining the pivotal nodes as $k$-hop starved nodes, which can be identified based on a given adjacency matrix. Considering the high computational burden, we further present a more efficient alternative inspired by CUR matrix decomposition. Subsequently, we eliminate the starved nodes by reconstructing the destroyed connections. Extensive experiments on representative benchmarks demonstrate that reducing the starved nodes consistently improves the performance of state-of-the-art LGI methods, especially under extremely limited supervision (6.12% improvement on Pubmed with a labeling rate of only 0.3%).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google