E2EG: End-to-End Node Classification Using Graph Topology and Text-based Node Attributes

要約

テキストベースのノード属性を利用したノード分類は、学術引用グラフにおける論文トピックの予測からソーシャル メディア ネットワークにおけるユーザー特性の分類に至るまで、多くの現実世界に応用できます。
GIANT などの最先端のノード分類フレームワークは 2 段階のパイプラインを使用します。最初にグラフ ノードのテキスト属性を埋め込み、次に結果の埋め込みをノード分類モデルにフィードします。
このペーパーでは、これら 2 つの段階を排除し、End-to-End-GIANT (E2EG) と呼ばれる、GIANT に基づいて構築されるエンドツーエンドのノード分類モデルを開発します。
私たちのアプローチで主分類目標と補助分類目標をタンデムに利用することで、より堅牢なモデルが得られ、パラメータ数を 25% ～ 40% 削減しながら、BERT バックボーンを蒸留エンコーダに切り替えることができます。
さらに、モデルのエンドツーエンドの性質により、ノード分類のために複数のモデルをチェーンする必要がなくなるため、使いやすさが向上します。
ogbn-arxiv および ogbn-products データセットの GIANT+MLP ベースラインと比較して、E2EG はモデルのトレーニング時間を最大 40% 削減しながら、トランスダクティブ設定でわずかに高い精度 (+0.5%) を実現します。
私たちのモデルは誘導設定にも適用でき、GIANT+MLP を最大 +2.23% 上回ります。

要約(オリジナル)

Node classification utilizing text-based node attributes has many real-world applications, ranging from prediction of paper topics in academic citation graphs to classification of user characteristics in social media networks. State-of-the-art node classification frameworks, such as GIANT, use a two-stage pipeline: first embedding the text attributes of graph nodes then feeding the resulting embeddings into a node classification model. In this paper, we eliminate these two stages and develop an end-to-end node classification model that builds upon GIANT, called End-to-End-GIANT (E2EG). The tandem utilization of a main and an auxiliary classification objectives in our approach results in a more robust model, enabling the BERT backbone to be switched out for a distilled encoder with a 25% – 40% reduction in the number of parameters. Moreover, the model’s end-to-end nature increases ease of use, as it avoids the need of chaining multiple models for node classification. Compared to a GIANT+MLP baseline on the ogbn-arxiv and ogbn-products datasets, E2EG obtains slightly better accuracy in the transductive setting (+0.5%), while reducing model training time by up to 40%. Our model is also applicable in the inductive setting, outperforming GIANT+MLP by up to +2.23%.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google