Multimodal Analogical Reasoning over Knowledge Graphs

要約

類推は人間の認知の基本であり、さまざまな分野で重要な位置を占めています。
ただし、以前の研究は主に単一モードの類推推論に焦点を当てており、構造知識を利用することを無視しています。
特に、認知心理学の研究では、マルチモーダル ソースからの情報は、単一モダリティ ソースよりも強力な認知伝達を常にもたらすことが実証されています。
この目的のために、背景知識の助けを借りてマルチモーダル推論能力を必要とする、ナレッジグラフに対するマルチモーダル類推推論の新しいタスクを紹介します。
具体的には、Multimodal Analogical Reasoning dataSet (MARS) とマルチモーダル ナレッジ グラフ MarKG を構築します。
マルチモーダル ナレッジ グラフの埋め込みと事前トレーニング済みの Transformer ベースラインを使用して評価し、提案されたタスクの潜在的な課題を示します。
さらに、構造マッピング理論によって動機付けられたトランスフォーマー（MarT）を使用した、モデルに依存しない新しいマルチモーダル類推推論フレームワークを提案します。これにより、より優れたパフォーマンスを得ることができます。
コードとデータセットは https://github.com/zjunlp/MKG_Analogy で入手できます。

要約(オリジナル)

Analogical reasoning is fundamental to human cognition and holds an important place in various fields. However, previous studies mainly focus on single-modal analogical reasoning and ignore taking advantage of structure knowledge. Notably, the research in cognitive psychology has demonstrated that information from multimodal sources always brings more powerful cognitive transfer than single modality sources. To this end, we introduce the new task of multimodal analogical reasoning over knowledge graphs, which requires multimodal reasoning ability with the help of background knowledge. Specifically, we construct a Multimodal Analogical Reasoning dataSet (MARS) and a multimodal knowledge graph MarKG. We evaluate with multimodal knowledge graph embedding and pre-trained Transformer baselines, illustrating the potential challenges of the proposed task. We further propose a novel model-agnostic Multimodal analogical reasoning framework with Transformer (MarT) motivated by the structure mapping theory, which can obtain better performance. Code and datasets are available in https://github.com/zjunlp/MKG_Analogy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google