Vision, Deduction and Alignment: An Empirical Study on Multi-modal Knowledge Graph Alignment

要約

ナレッジ グラフ (KG) のエンティティ アライメント (EA) は、ナレッジ エンジニアリングにおいて重要な役割を果たします。
既存の EA メソッドは、主にグラフ構造とエンティティ属性 (リテラルを含む) の利用に焦点を当てていますが、現代のマルチモーダル KG で一般的な画像は無視しています。
この調査では、最初に Multi-OpenEA (8 つの大規模な画像を備えた EA ベンチマーク) を構築し、次に画像を利用するための既存の埋め込みベースの方法を評価しました。
視覚的なモーダル情報と論理演繹の補完的な性質を考慮して、論理演繹とマルチモーダル KG 埋め込みを使用して、LODEME という名前の新しいマルチモーダル EA メソッドをさらに開発し、Multi-OpenEA で最先端のパフォーマンスを実現しました。
およびその他の既存のマルチモーダル EA ベンチマーク。

要約(オリジナル)

Entity alignment (EA) for knowledge graphs (KGs) plays a critical role in knowledge engineering. Existing EA methods mostly focus on utilizing the graph structures and entity attributes (including literals), but ignore images that are common in modern multi-modal KGs. In this study we first constructed Multi-OpenEA — eight large-scale, image-equipped EA benchmarks, and then evaluated some existing embedding-based methods for utilizing images. In view of the complementary nature of visual modal information and logical deduction, we further developed a new multi-modal EA method named LODEME using logical deduction and multi-modal KG embedding, with state-of-the-art performance achieved on Multi-OpenEA and other existing multi-modal EA benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google