Knowledge Graph Quality Evaluation under Incomplete Information

要約

タイトル：不完全情報下での知識グラフの品質評価
要約：
– 知識グラフは多くのタスクで重要な役割を果たしているため、品質評価が不可欠である。
– これまでに提案された方法は、新しい品質指標を提案するか、知識グラフの構築段階の性能を測定することで評価を行うが、これらには問題がある。
– これらの方法は、知識グラフ内部情報が公開されてしまうため、生データに強く依存している。
– また、データレベルの品質よりも下流の応用に重要な能力レベルの品質について考慮されていない。
– この問題を解決するために、不完全情報下での知識グラフ品質評価フレームワークを提案する。
– 品質評価タスクは、2つの知識グラフ間での敵対的なQ＆Aゲームに変換される。ゲームの勝者がより優れた品質を持つと考えられる。
– 評価プロセス中、生データは公開されず、情報保護が確保される。
– 4つの知識グラフのペアにおける実験結果は、QEIIが不完全情報下でも能力レベルの妥当な品質評価を実現することを示している。

要約(オリジナル)

Knowledge graphs (KGs) have attracted more and more attentions because of their fundamental roles in many tasks. Quality evaluation for KGs is thus crucial and indispensable. Existing methods in this field evaluate KGs by either proposing new quality metrics from different dimensions or measuring performances at KG construction stages. However, there are two major issues with those methods. First, they highly rely on raw data in KGs, which makes KGs’ internal information exposed during quality evaluation. Second, they consider more about the quality at data level instead of ability level, where the latter one is more important for downstream applications. To address these issues, we propose a knowledge graph quality evaluation framework under incomplete information (QEII). The quality evaluation task is transformed into an adversarial Q&A game between two KGs. Winner of the game is thus considered to have better qualities. During the evaluation process, no raw data is exposed, which ensures information protection. Experimental results on four pairs of KGs demonstrate that, compared with baselines, the QEII implements a reasonable quality evaluation at ability level under incomplete information.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI