Masked Language Models are Good Heterogeneous Graph Generalizers

要約

不均一なグラフニューラルネットワーク（HGNNS）は、異種グラフ（HG）で構造情報とセマンティック情報をキャプチャすることに優れており、ドメインとタスクを介して一般化するのに苦労しています。
最近、一部の研究者は、より一般化可能な不均一なグラフ学習のために、HGNNを大規模な言語モデル（LLM）と統合することになりました。
ただし、これらのアプローチは通常、HGNNを介してHGトークンとして構造情報を抽出し、HGNNとLLMの間の埋め込みスペースの格差は、LLMのHGの理解にバイアスをかけることが示されています。
さらに、これらのHGトークンはしばしばノードレベルのタスクから派生しているため、タスク全体で一般化するモデルの能力は限られたままです。
この目的のために、MLM4HGと呼ばれるシンプルで効果的なマスク言語モデリングベースの方法を提案します。
MLM4HGは、HGトークンの代わりにメタパスベースのテキストシーケンスを導入して、HGに固有の構造情報とセマンティック情報を抽出し、異なるグラフタスクを統合するカスタマイズされたテキストテンプレートをコヒーレントなクロゼスタイル「マスク」「トークン予測パラダイム」に統合します。
具体的には、MLM4HGは最初にHGをさまざまなドメインからメタパスに基づいてテキストに変換し、その後、それらを統一されたタスクテキストと組み合わせてHGベースのコーパスを形成します。
さらに、コーパスは、制約された標的語彙を備えた微調整のために前処理されたLMに供給され、微調整されたLMが目に見えないターゲットHGに一般化できるようにします。
4つの実際のデータセットでの広範なクロスドメインおよびマルチタスク実験は、少ないショットとゼロショットシナリオの両方で最先端の方法よりもMLM4HGの優れた一般化パフォーマンスを示しています。
私たちのコードは、https：//github.com/bupt-gamma/mlm4hgで入手できます。

要約(オリジナル)

Heterogeneous graph neural networks (HGNNs) excel at capturing structural and semantic information in heterogeneous graphs (HGs), while struggling to generalize across domains and tasks. Recently, some researchers have turned to integrating HGNNs with large language models (LLMs) for more generalizable heterogeneous graph learning. However, these approaches typically extract structural information via HGNNs as HG tokens, and disparities in embedding spaces between HGNNs and LLMs have been shown to bias the LLM’s comprehension of HGs. Moreover, as these HG tokens are often derived from node-level tasks, the model’s ability to generalize across tasks remains limited. To this end, we propose a simple yet effective Masked Language Modeling-based method, called MLM4HG. MLM4HG introduces metapath-based textual sequences instead of HG tokens to extract structural and semantic information inherent in HGs, and designs customized textual templates to unify different graph tasks into a coherent cloze-style ‘mask’ token prediction paradigm. Specifically, MLM4HG first converts HGs from various domains to texts based on metapaths, and subsequently combines them with the unified task texts to form a HG-based corpus. Moreover, the corpus is fed into a pretrained LM for fine-tuning with a constrained target vocabulary, enabling the fine-tuned LM to generalize to unseen target HGs. Extensive cross-domain and multi-task experiments on four real-world datasets demonstrate the superior generalization performance of MLM4HG over state-of-the-art methods in both few-shot and zero-shot scenarios. Our code is available at https://github.com/BUPT-GAMMA/MLM4HG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google