Does Pre-trained Language Model Actually Infer Unseen Links in Knowledge Graph Completion?

要約

ナレッジ グラフ (KG) は、エンティティ間の関係を記述するリンクで構成されます。
エンティティ間のすべての関係を手動で列挙するのは難しいため、KG にとってそれらを自動的に完了することが不可欠です。
ナレッジ グラフ補完 (KGC) は、KG 内のエンティティ間の目に見えない関係を推測するタスクです。
RESCAL、TransE、DistMult、ComplEx、RotatE、HAKE、HouseE などの従来の埋め込みベースの KGC 手法は、トレーニング データからの知識のみを使用して欠落リンクを推測します。
対照的に、最近の事前トレーニング言語モデル (PLM) ベースの KGC は、事前トレーニング中に得られた知識を利用します。
したがって、PLM ベースの KGC は、事前トレーニングで記憶された知識を推論せずに再利用することで、エンティティ間のミッシング リンクを推定できます。
KGC モデルの構築はエンティティ間の目に見えないリンクを推測することを目的としているため、このアプローチには問題があります。
しかし、KGCにおける従来の評価では、推論能力と暗記能力を分けて考慮していませんでした。
したがって、現在の KGC 評価では高いパフォーマンスを達成している PLM ベースの KGC 手法は、実際のアプリケーションでは効果的ではない可能性があります。
この問題に対処するために、PLM ベースの KGC メソッドが推論を行うのか、それとも記憶された知識にアクセスするだけなのかを分析します。
この目的のために、この分析で指定された合成データセットを構築する方法を提案し、パフォーマンスの向上は主にエンティティとリレーションのテキスト情報によるものであるにもかかわらず、PLM は事前トレーニングを通じて KGC に必要な推論能力を獲得すると結論付けています。

要約(オリジナル)

Knowledge graphs (KGs) consist of links that describe relationships between entities. Due to the difficulty of manually enumerating all relationships between entities, automatically completing them is essential for KGs. Knowledge Graph Completion (KGC) is a task that infers unseen relationships between entities in a KG. Traditional embedding-based KGC methods, such as RESCAL, TransE, DistMult, ComplEx, RotatE, HAKE, HousE, etc., infer missing links using only the knowledge from training data. In contrast, the recent Pre-trained Language Model (PLM)-based KGC utilizes knowledge obtained during pre-training. Therefore, PLM-based KGC can estimate missing links between entities by reusing memorized knowledge from pre-training without inference. This approach is problematic because building KGC models aims to infer unseen links between entities. However, conventional evaluations in KGC do not consider inference and memorization abilities separately. Thus, a PLM-based KGC method, which achieves high performance in current KGC evaluations, may be ineffective in practical applications. To address this issue, we analyze whether PLM-based KGC methods make inferences or merely access memorized knowledge. For this purpose, we propose a method for constructing synthetic datasets specified in this analysis and conclude that PLMs acquire the inference abilities required for KGC through pre-training, even though the performance improvements mostly come from textual information of entities and relations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google