Query-Driven Knowledge Base Completion using Multimodal Path Fusion over Multimodal Knowledge Graph

要約

タイトル：マルチモーダル知識グラフ上でのマルチモーダルパス融合によるクエリ駆動型知識ベースの完成

要約：
– 大量の知識をストアする大規模な知識ベースが構築されているが、この知識ベースは高度に不完全である（例：Freebaseにおいて70％以上の人々が出生地を知られていない）。
– この問題を解決するために、我々は非構造化および構造化情報のマルチモーダル融合によるクエリ駆動型知識ベース完成システムを提案する。
– 非構造化情報（Webから）と構造化情報（知識ベースから）を効果的に融合するために、システムは問答とルール推論に基づいてマルチモーダル知識グラフを構築する。
– 我々は、異なるパスに基づいて候補回答をランク付けするマルチモーダルパス融合アルゴリズムを提案し、問答、ルール推論、および基準融合アルゴリズムよりも優れた性能を実現する。
– システムの効率性を向上させるために、クエリ駆動型技術が使用され、ユーザクエリに高速な応答を提供する。
– 大規模な実験を行い、システムの効果と効率性を実証する。

要約(オリジナル)

Over the past few years, large knowledge bases have been constructed to store massive amounts of knowledge. However, these knowledge bases are highly incomplete, for example, over 70% of people in Freebase have no known place of birth. To solve this problem, we propose a query-driven knowledge base completion system with multimodal fusion of unstructured and structured information. To effectively fuse unstructured information from the Web and structured information in knowledge bases to achieve good performance, our system builds multimodal knowledge graphs based on question answering and rule inference. We propose a multimodal path fusion algorithm to rank candidate answers based on different paths in the multimodal knowledge graphs, achieving much better performance than question answering, rule inference and a baseline fusion algorithm. To improve system efficiency, query-driven techniques are utilized to reduce the runtime of our system, providing fast responses to user queries. Extensive experiments have been conducted to demonstrate the effectiveness and efficiency of our system.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI