Open-World Semi-Supervised Learning for Node Classification

要約

ノード分類のためのオープンワールド半教師あり学習 (オープンワールド SSL) は、ラベルのないノードを既知のクラスまたは複数の新規クラスに分類するもので、実用的ではありますが、グラフ コミュニティでは十分に検討されていない問題です。
既知のクラスのみに人間によるラベルが付いているため、それらは通常、新規クラスよりもよく学習され、そのため、埋め込み空間内のクラス内分散が小さくなります (既知クラスと新規クラス間のクラス内分散の不均衡と呼ばれます)。
経験的および理論的分析に基づいて、分散の不均衡がモデルのパフォーマンスに悪影響を与える可能性があることがわかりました。
事前トレーニングされた特徴エンコーダーは、新しいクラスのコンパクトな表現を生成することで、この問題を軽減できます。
ただし、さまざまなタイプのグラフ データに対して一般的な事前トレーニングされたエンコーダーを作成するのは困難であることがわかっています。
したがって、事前にトレーニングされたグラフ エンコーダに依存しない効果的な方法が求められています。
この論文では、オープンワールド半教師ありノード分類のための OpenIMA という名前の IMbalance-Aware メソッドを提案します。これは、バイアスを低減した疑似ラベルを使用した対照学習によってノード分類モデルを最初からトレーニングします。
7 つの一般的なグラフ ベンチマークに関する広範な実験により、OpenIMA の有効性が実証されており、ソース コードは GitHub で入手できます。

要約(オリジナル)

Open-world semi-supervised learning (Open-world SSL) for node classification, that classifies unlabeled nodes into seen classes or multiple novel classes, is a practical but under-explored problem in the graph community. As only seen classes have human labels, they are usually better learned than novel classes, and thus exhibit smaller intra-class variances within the embedding space (named as imbalance of intra-class variances between seen and novel classes). Based on empirical and theoretical analysis, we find the variance imbalance can negatively impact the model performance. Pre-trained feature encoders can alleviate this issue via producing compact representations for novel classes. However, creating general pre-trained encoders for various types of graph data has been proven to be challenging. As such, there is a demand for an effective method that does not rely on pre-trained graph encoders. In this paper, we propose an IMbalance-Aware method named OpenIMA for Open-world semi-supervised node classification, which trains the node classification model from scratch via contrastive learning with bias-reduced pseudo labels. Extensive experiments on seven popular graph benchmarks demonstrate the effectiveness of OpenIMA, and the source code has been available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google