Edgeformers: Graph-Empowered Transformers for Representation Learning on Textual-Edge Networks

要約

多くの現実世界のソーシャル/情報ネットワークのエッジは、リッチ テキスト情報 (ユーザー間のコミュニケーションやユーザーと製品のレビューなど) に関連付けられています。
ただし、主流のネットワーク表現学習モデルは、ノード属性の伝播と集約に焦点を当てており、エッジでテキスト セマンティクスを利用するための特定の設計が欠けています。
エッジ認識グラフ ニューラル ネットワークは存在しますが、それらはエッジ属性を特徴ベクトルとして直接初期化するため、エッジのコンテキスト化されたテキスト セマンティクスを完全にキャプチャすることはできません。
この論文では、グラフ強化されたトランスフォーマーに基づいて構築されたフレームワークである Edgeformers を提案し、コンテキスト化された方法でエッジ上のテキストをモデル化することにより、エッジとノードの表現学習を実行します。
具体的には、エッジ表現学習では、エッジ テキストをエンコードするときにネットワーク情報を各 Transformer レイヤーに挿入します。
ノード表現学習では、各ノードの自我グラフ内の注意メカニズムを通じてエッジ表現を集約します。
3 つの異なるドメインからの 5 つの公開データセットで、Edgeformers はエッジ分類とリンク予測で最先端のベースラインを一貫して上回っており、それぞれエッジとノード表現の学習における有効性を示しています。

要約(オリジナル)

Edges in many real-world social/information networks are associated with rich text information (e.g., user-user communications or user-product reviews). However, mainstream network representation learning models focus on propagating and aggregating node attributes, lacking specific designs to utilize text semantics on edges. While there exist edge-aware graph neural networks, they directly initialize edge attributes as a feature vector, which cannot fully capture the contextualized text semantics of edges. In this paper, we propose Edgeformers, a framework built upon graph-enhanced Transformers, to perform edge and node representation learning by modeling texts on edges in a contextualized way. Specifically, in edge representation learning, we inject network information into each Transformer layer when encoding edge texts; in node representation learning, we aggregate edge representations through an attention mechanism within each node’s ego-graph. On five public datasets from three different domains, Edgeformers consistently outperform state-of-the-art baselines in edge classification and link prediction, demonstrating the efficacy in learning edge and node representations, respectively.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google