Subgraph-Aware Training of Language Models for Knowledge Graph Completion Using Structure-Aware Contrastive Learning

要約

微調整前訓練モデル（PLMS）は最近、知識グラフの完了（KGC）を改善する可能性を示しています。
ただし、ほとんどのPLMベースの方法は、テキスト情報のエンコードのみに焦点を当てており、知識グラフとそのさまざまなトポロジ構造、例えばサブグラフ、最短経路、学位を無視しています。
これは、KGCのPLMSのより高い精度を達成するための大きな障害であると主張しています。
この目的のために、KGC（SATKGC）のサブグラフを意識したトレーニングフレームワークを提案します。（i）サブグラフに意識したミニバッチングは、ハードネガティブサンプリングを促進し、トレーニング中のエンティティの発生頻度の不均衡を軽減し、トレーニング中の不均衡を軽減します。
（ii）知識グラフの構造特性に関して、より硬いバッチ内の負のトリプルとより硬いポジティブトリプルにもっと集中するための新しい対照的な学習。
私たちの知る限り、これは知識グラフの構造的誘導バイアスを微調整PLMに包括的に組み込む最初の研究です。
3つのKGCベンチマークでの広範な実験は、SatKGCの優位性を示しています。
私たちのコードが利用可能です。

要約(オリジナル)

Fine-tuning pre-trained language models (PLMs) has recently shown a potential to improve knowledge graph completion (KGC). However, most PLM-based methods focus solely on encoding textual information, neglecting the long-tailed nature of knowledge graphs and their various topological structures, e.g., subgraphs, shortest paths, and degrees. We claim that this is a major obstacle to achieving higher accuracy of PLMs for KGC. To this end, we propose a Subgraph-Aware Training framework for KGC (SATKGC) with two ideas: (i) subgraph-aware mini-batching to encourage hard negative sampling and to mitigate an imbalance in the frequency of entity occurrences during training, and (ii) new contrastive learning to focus more on harder in-batch negative triples and harder positive triples in terms of the structural properties of the knowledge graph. To the best of our knowledge, this is the first study to comprehensively incorporate the structural inductive bias of the knowledge graph into fine-tuning PLMs. Extensive experiments on three KGC benchmarks demonstrate the superiority of SATKGC. Our code is available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google