GRENADE: Graph-Centric Language Model for Self-Supervised Representation Learning on Text-Attributed Graphs

要約

さまざまな下流タスクの表現力豊かで一般化可能な表現を作成することを目的とした、テキスト属性グラフ上の自己教師あり表現学習は、最近研究の注目を集めています。
しかし、既存の方法は、構造的コンテキスト情報の全範囲を取得するのに苦労しているか、タスク固有のトレーニングラベルに依存しているため、実際の有効性と一般化可能性が大きく妨げられています。
テキスト属性グラフ上の自己教師あり表現学習の問題を解決するために、私たちは新しいグラフ中心言語モデル、GRENADE を開発しました。
具体的には、GRENADE は、グラフ中心の対比学習とグラフ中心の知識調整という 2 つの特殊な自己教師あり学習アルゴリズムで最適化することで、事前トレーニングされた言語モデルとグラフ ニューラル ネットワークの両方の相乗効果を活用します。
提案されたグラフ中心の自己教師あり学習アルゴリズムは、GRENADE が有益なテキストの意味論とテキスト属性のグラフ上の構造的コンテキスト情報を取得するのに効果的に役立ちます。
広範な実験を通じて、GRENADE は最先端の方法よりも優れていることがわかります。
実装は \url{https://github.com/bigheiniu/GRENADE} で利用できます。

要約(オリジナル)

Self-supervised representation learning on text-attributed graphs, which aims to create expressive and generalizable representations for various downstream tasks, has received increasing research attention lately. However, existing methods either struggle to capture the full extent of structural context information or rely on task-specific training labels, which largely hampers their effectiveness and generalizability in practice. To solve the problem of self-supervised representation learning on text-attributed graphs, we develop a novel Graph-Centric Language model — GRENADE. Specifically, GRENADE exploits the synergistic effect of both pre-trained language model and graph neural network by optimizing with two specialized self-supervised learning algorithms: graph-centric contrastive learning and graph-centric knowledge alignment. The proposed graph-centric self-supervised learning algorithms effectively help GRENADE to capture informative textual semantics as well as structural context information on text-attributed graphs. Through extensive experiments, GRENADE shows its superiority over state-of-the-art methods. Implementation is available at \url{https://github.com/bigheiniu/GRENADE}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google