Learning Multiplex Embeddings on Text-rich Networks with One Text Encoder

要約

現実世界のシナリオでは、ネットワーク内のテキストは複数の意味関係によってリンクされていることがよくあります (たとえば、学術ネットワーク内の論文は、他の出版物によって参照されたり、同じ著者によって書かれたり、同じ会場で出版されたりします)。
関係は多重テキストリッチネットワークを形成します。
主流のテキスト表現学習方法は、事前トレーニング済み言語モデル (PLM) を使用してテキスト単位ごとに 1 つのエンベディングを生成し、テキスト間のあらゆるタイプの関係がこれらの単一ビューのエンベディングによってキャプチャできることを期待しています。
ただし、この推定は、特にテキストが豊富な多重ネットワークでは当てはまりません。
別の作業として、多重グラフ ニューラル ネットワーク (GNN) は、ノード表現学習用の特徴ベクトルとしてノード属性を直接初期化しますが、ノードに関連付けられたテキストのセマンティクスを完全にキャプチャすることはできません。
これらのギャップを埋めるために、TExt-Rich ネットワーク上の多重埋め込みを学習するための新しいフレームワークである METERN を提案します。
既存の方法とは対照的に、METERN は 1 つのテキスト エンコーダーを使用して関係全体で共有される知識をモデル化し、関係ごとに少数のパラメーターを活用して関係固有の表現を導き出します。
これにより、エンコーダはパラメータの効率を維持しながら、ネットワーク内の多重構造を効果的にキャプチャできるようになります。
私たちは、学術ドメインと電子商取引ドメインの両方の 5 つのネットワークで 9 つのダウンストリーム タスクの実験を実施しており、METERN はベースラインを大幅かつ一貫して上回っています。
コードは https://github.com/PeterGriffinJin/METERN-submit で入手できます。

要約(オリジナル)

In real-world scenarios, texts in a network are often linked by multiple semantic relations (e.g., papers in an academic network are referenced by other publications, written by the same author, or published in the same venue), where text documents and their relations form a multiplex text-rich network. Mainstream text representation learning methods use pretrained language models (PLMs) to generate one embedding for each text unit, expecting that all types of relations between texts can be captured by these single-view embeddings. However, this presumption does not hold particularly in multiplex text-rich networks. Along another line of work, multiplex graph neural networks (GNNs) directly initialize node attributes as a feature vector for node representation learning, but they cannot fully capture the semantics of the nodes’ associated texts. To bridge these gaps, we propose METERN, a new framework for learning Multiplex Embeddings on TExt-Rich Networks. In contrast to existing methods, METERN uses one text encoder to model the shared knowledge across relations and leverages a small number of parameters per relation to derive relation-specific representations. This allows the encoder to effectively capture the multiplex structures in the network while also preserving parameter efficiency. We conduct experiments on nine downstream tasks in five networks from both academic and e-commerce domains, where METERN outperforms baselines significantly and consistently. The code is available at https://github.com/PeterGriffinJin/METERN-submit.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google