Predictive Multiplicity of Knowledge Graph Embeddings in Link Prediction

要約

ナレッジ グラフ エンベディング (KGE) モデルは、ナレッジ グラフ (KG) の欠落リンクを予測するためによく使用されます。
ただし、複数の KG 埋め込みは、リンク予測ではほぼ同等に機能しますが、文献では \textit{予測多重度} と呼ばれる、特定のクエリに対して矛盾する予測を提案します。
この動作は、リスクの高いドメインにおける KGE ベースのアプリケーションに重大なリスクをもたらしますが、KGE 研究では無視されてきました。
本稿ではリンク予測における予測多重度を定義する。
評価指標を導入し、一般的に使用されるベンチマーク データセットに対する代表的な KGE 手法の予測多重度を測定します。
私たちの実証研究では、$8\%$ から $39\%$ のテスト クエリが矛盾する予測を示しており、リンク予測における予測多重度が大幅に高いことが明らかになりました。
この問題に対処するために、社会的選択理論の投票方法を活用することを提案します。実験によれば、紛争が $66\%$ から $78\%$ も大幅に軽減されます。

要約(オリジナル)

Knowledge graph embedding (KGE) models are often used to predict missing links for knowledge graphs (KGs). However, multiple KG embeddings can perform almost equally well for link prediction yet suggest conflicting predictions for certain queries, termed \textit{predictive multiplicity} in literature. This behavior poses substantial risks for KGE-based applications in high-stake domains but has been overlooked in KGE research. In this paper, we define predictive multiplicity in link prediction. We introduce evaluation metrics and measure predictive multiplicity for representative KGE methods on commonly used benchmark datasets. Our empirical study reveals significant predictive multiplicity in link prediction, with $8\%$ to $39\%$ testing queries exhibiting conflicting predictions. To address this issue, we propose leveraging voting methods from social choice theory, significantly mitigating conflicts by $66\%$ to $78\%$ according to our experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google