Subgraph-Aware Training of Text-based Methods for Knowledge Graph Completion

要約

最近、事前トレーニング済み言語モデル (PLM) を微調整すると、ナレッジ グラフ補完 (KGC) が向上する可能性が示されました。
ただし、ほとんどの PLM ベースの手法はテキスト情報のみをエンコードし、ナレッジ グラフ (KG) のさまざまなトポロジ構造を無視します。
この論文では、KG の構造特性と PLM ベースの手法のパフォーマンスの間の重要な関係を経験的に検証します。
構造的知識を活用するために、(i) ハードネガティブサンプリングを促進するサブグラフ認識ミニバッチングと、(ii) より困難なサンプリングに焦点を当てる新しい対照学習方法を組み合わせた、KGC 用のサブグラフ認識トレーニング フレームワーク (SATKGC) を提案します。
構造特性の観点からは、エンティティとより強力な負のトリプルが含まれます。
私たちの知る限り、これはサブグラフの構造的誘導バイアスを PLM の微調整に包括的に組み込んだ最初の研究です。
4 つの KGC ベンチマークに関する広範な実験により、SATKGC の優位性が実証されました。
私たちのコードが利用可能です。

要約(オリジナル)

Fine-tuning pre-trained language models (PLMs) has recently shown a potential to improve knowledge graph completion (KGC). However, most PLM-based methods encode only textual information, neglecting various topological structures of knowledge graphs (KGs). In this paper, we empirically validate the significant relations between the structural properties of KGs and the performance of the PLM-based methods. To leverage the structural knowledge, we propose a Subgraph-Aware Training framework for KGC (SATKGC) that combines (i) subgraph-aware mini-batching to encourage hard negative sampling, and (ii) a new contrastive learning method to focus more on harder entities and harder negative triples in terms of the structural properties. To the best of our knowledge, this is the first study to comprehensively incorporate the structural inductive bias of the subgraphs into fine-tuning PLMs. Extensive experiments on four KGC benchmarks demonstrate the superiority of SATKGC. Our code is available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google