Enhancing Knowledge Graph Embedding Models with Semantic-driven Loss Functions

要約

ナレッジ グラフ埋め込みモデル (KGEM) は、リンク予測など、ナレッジ グラフ (KG) に関連するさまざまなタスクに使用されます。
それらは、スコアリングされたトリプルとそれに対応するラベルのバッチを考慮して計算される損失関数でトレーニングされます。
従来のアプローチでは、トリプルのラベルは true または false であると見なされます。
ただし、最近の研究では、すべての負のトリプルが等しく評価されるべきではないことが示唆されています。
この一般的に採用されている仮定に沿って、意味的に有効な負のトリプルは高品質の負のトリプルである可能性があると仮定します。
そのため、損失関数は、意味的に無効な負のものとは異なる方法で処理する必要があります。
この目的のために、リンク予測に最もよく使用される 3 つの損失関数のセマンティック駆動バージョンを提案します。
特に、関係ドメインと範囲に関する背景知識を損失関数に注入することにより、負のトリプルのスコアを異なる方法で扱います。
大規模で制御された実験設定では、提案された損失関数が、異なるスキーマで支えられた 3 つの公開ベンチマーク KG で満足のいく結果を体系的に提供することを示します。これは、提案されたアプローチの一般性と優位性の両方を示しています。
実際、提案された損失関数は、より良い MRR と Hits@10 値につながるだけでなく、KGEM をより良い意味認識に向けて推進します。
これは、セマンティック情報がグローバルに KGEM を改善することを強調しているため、そのような情報が利用可能な場合はいつでも損失関数に組み込む必要があります。

要約(オリジナル)

Knowledge graph embedding models (KGEMs) are used for various tasks related to knowledge graphs (KGs), including link prediction. They are trained with loss functions that are computed considering a batch of scored triples and their corresponding labels. Traditional approaches consider the label of a triple to be either true or false. However, recent works suggest that all negative triples should not be valued equally. In line with this commonly adopted assumption, we posit that semantically valid negative triples might be high-quality negative triples. As such, loss functions should treat them differently from semantically invalid negative ones. To this aim, we propose semantic-driven versions for the three mostly used loss functions for link prediction. In particular, we treat the scores of negative triples differently by injecting background knowledge about relation domains and ranges into the loss functions. In an extensive and controlled experimental setting, we show that the proposed loss functions systematically provide satisfying results on three public benchmark KGs underpinned with different schemas, which demonstrates both the generality and superiority of our proposed approach. In fact, the proposed loss functions do not only lead to better MRR and Hits@10 values, but also drive KGEMs towards better semantic awareness. This highlights that semantic information globally improves KGEMs, and thus should be incorporated into loss functions whenever such information is available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google