Sem@$K$: Is my knowledge graph embedding model semantic-aware?

要約

ナレッジ グラフ埋め込みモデル (KGEM) の使用は、ナレッジ グラフ (KG) 内のリンクを予測するための一般的なアプローチです。
従来、リンク予測における KGEM のパフォーマンスは、グラウンド トゥルース エンティティに高スコアを与える能力を評価するランクベースのメトリクスを使用して評価されていました。
ただし、文献では、KGEM 評価手順は、評価するための補足的な次元を追加することで恩恵を受けると主張しています。
そのため、このペーパーでは、以前に導入した、有効なエンティティを予測するモデルの能力を測定するメトリクス Sem@K を拡張します。
ドメインと範囲の制約。
特に、幅広い KG を考慮し、それぞれの特性を考慮して、Sem@K のさまざまなバージョンを提案します。
また、当社の指標によって測定される KGEM の能力を認定するために、広範な調査も実施します。
私たちの実験では、Sem@K が KGEM の品質について新しい視点を提供することが示されています。
ランクベースのメトリクスとの共同分析により、モデルの予測力についてさまざまな結論が得られます。
Sem@K に関しては、一部の KGEM は他の KGEM よりも本質的に優れていますが、このセマンティックな優位性は、KGEM に関するパフォーマンスを示すものではありません。
ランクベースのメトリクス。
この研究では、KGEM の相対的なパフォーマンスに関する結論を一般化します。
モデルのファミリーレベルでのランクベースおよびセマンティック指向のメトリクス。
前述の指標を共同分析することで、各モデルの特性についてのさらなる洞察が得られます。
この作業により、特定の下流タスクに対する KGEM の適切性をより包括的に評価する道が開かれます。

要約(オリジナル)

Using knowledge graph embedding models (KGEMs) is a popular approach for predicting links in knowledge graphs (KGs). Traditionally, the performance of KGEMs for link prediction is assessed using rank-based metrics, which evaluate their ability to give high scores to ground-truth entities. However, the literature claims that the KGEM evaluation procedure would benefit from adding supplementary dimensions to assess. That is why, in this paper, we extend our previously introduced metric Sem@K that measures the capability of models to predict valid entities w.r.t. domain and range constraints. In particular, we consider a broad range of KGs and take their respective characteristics into account to propose different versions of Sem@K. We also perform an extensive study to qualify the abilities of KGEMs as measured by our metric. Our experiments show that Sem@K provides a new perspective on KGEM quality. Its joint analysis with rank-based metrics offers different conclusions on the predictive power of models. Regarding Sem@K, some KGEMs are inherently better than others, but this semantic superiority is not indicative of their performance w.r.t. rank-based metrics. In this work, we generalize conclusions about the relative performance of KGEMs w.r.t. rank-based and semantic-oriented metrics at the level of families of models. The joint analysis of the aforementioned metrics gives more insight into the peculiarities of each model. This work paves the way for a more comprehensive evaluation of KGEM adequacy for specific downstream tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google