MoCoSA: Momentum Contrast for Knowledge Graph Completion with Structure-Augmented Pre-trained Language Models

要約

ナレッジ グラフ補完 (KGC) は、ナレッジ グラフ内の事実に基づいて推論を実行し、失われたリンクを自動的に推測することを目的としています。
既存の手法は主に構造ベースと記述ベースに分類できます。
一方では、構造ベースの方法では、エンティティの埋め込みを使用して、ナレッジ グラフ内のリレーショナル ファクトを効果的に表現します。
ただし、構造情報が限られているため、意味的に豊富な現実世界のエンティティを扱うのに苦労し、目に見えないエンティティに一般化することができません。
一方、説明ベースの方法では、事前にトレーニングされた言語モデル (PLM) を利用してテキスト情報を理解します。
目に見えない存在に対して強い堅牢性を示します。
ただし、大規模なネガティブ サンプリングには困難があり、構造ベースの手法に遅れることがよくあります。
これらの問題に対処するために、この論文では、構造拡張事前トレーニング言語モデル (MoCoSA) を使用したナレッジ グラフ補完のための Momentum Contrast を提案します。これにより、PLM は適応可能な構造エンコーダーによって構造情報を認識できるようになります。
学習効率を向上させるために、モメンタム ハード ネガティブおよびイントラリレーション ネガティブ サンプリングを提案しました。
実験結果は、私たちのアプローチが平均逆数ランク (MRR) に関して最先端のパフォーマンスを達成し、WN18RR で 2.5%、OpenBG500 で 21% の向上を示していることを示しています。

要約(オリジナル)

Knowledge Graph Completion (KGC) aims to conduct reasoning on the facts within knowledge graphs and automatically infer missing links. Existing methods can mainly be categorized into structure-based or description-based. On the one hand, structure-based methods effectively represent relational facts in knowledge graphs using entity embeddings. However, they struggle with semantically rich real-world entities due to limited structural information and fail to generalize to unseen entities. On the other hand, description-based methods leverage pre-trained language models (PLMs) to understand textual information. They exhibit strong robustness towards unseen entities. However, they have difficulty with larger negative sampling and often lag behind structure-based methods. To address these issues, in this paper, we propose Momentum Contrast for knowledge graph completion with Structure-Augmented pre-trained language models (MoCoSA), which allows the PLM to perceive the structural information by the adaptable structure encoder. To improve learning efficiency, we proposed momentum hard negative and intra-relation negative sampling. Experimental results demonstrate that our approach achieves state-of-the-art performance in terms of mean reciprocal rank (MRR), with improvements of 2.5% on WN18RR and 21% on OpenBG500.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google