Multi-modal Knowledge Graph Generation with Semantics-enriched Prompts

要約

マルチモーダルナレッジグラフ（MMKG）は、知識表現のためにさまざまなドメインに広く適用されています。
ただし、既存のMMKGは必要よりも大幅に少なく、特に知識グラフ濃縮のための高品質でコンテキスト関連の画像の選択を確保するために、それらの構造は多くの課題に直面しています。
これらの課題に対処するために、従来のKGSからMMKGを構築するためのフレームワークを提示します。
さらに、指定された知識グラフのコンテキストにより関連する高品質の画像を生成するために、視覚化可能な構造隣接選択（VSNS）と呼ばれる隣接選択方法を設計しました。
この方法は、視覚化可能な隣接選択（VNS）と構造隣接選択（SNS）の2つのモジュールで構成されています。
VNSモジュールは視覚化が困難な関係をフィルタリングしますが、SNSモジュールはエンティティの構造特性を最も効果的にキャプチャする近隣を選択します。
生成された画像の品質を評価するために、2つのデータセット（MKG-YとDB15K）で定性的および定量的評価を実行しました。
実験結果は、VSNSメソッドを使用して近隣を選択すると、知識グラフにより関連する高品質の画像が得られることを示しています。

要約(オリジナル)

Multi-modal Knowledge Graphs (MMKGs) have been widely applied across various domains for knowledge representation. However, the existing MMKGs are significantly fewer than required, and their construction faces numerous challenges, particularly in ensuring the selection of high-quality, contextually relevant images for knowledge graph enrichment. To address these challenges, we present a framework for constructing MMKGs from conventional KGs. Furthermore, to generate higher-quality images that are more relevant to the context in the given knowledge graph, we designed a neighbor selection method called Visualizable Structural Neighbor Selection (VSNS). This method consists of two modules: Visualizable Neighbor Selection (VNS) and Structural Neighbor Selection (SNS). The VNS module filters relations that are difficult to visualize, while the SNS module selects neighbors that most effectively capture the structural characteristics of the entity. To evaluate the quality of the generated images, we performed qualitative and quantitative evaluations on two datasets, MKG-Y and DB15K. The experimental results indicate that using the VSNS method to select neighbors results in higher-quality images that are more relevant to the knowledge graph.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google