VP-MEL: Visual Prompts Guided Multimodal Entity Linking

要約

マルチモーダル エンティティ リンク (MEL) は、情報検索の分野で広く利用されています。
ただし、既存の MEL メソッドは通常、検索用のメンションとしてメンション ワードを利用します。
その結果、MEL は言及単語に大きく依存することになり、画像とテキストの両方からの情報を効果的に活用する能力が制限されます。
メンション単語が存在しない状況では、MEL メソッドはエンティティのリンクに画像とテキストのペアを活用するのに苦労します。
これらの問題を解決するために、ビジュアル プロンプト ガイド付きマルチモーダル エンティティ リンク (VP-MEL) タスクを導入します。
VP-MEL は、画像内の特定の領域を直接マークします。
これらのマーカーは、VP-MEL ではビジュアル プロンプトと呼ばれます。
言葉では言いませんが、VP-MEL は、マークされた画像とテキストのペアを利用して、視覚的なプロンプトを知識ベース内の特定のエンティティと一致させることを目的としています。
この論文では、VP-MEL タスク用の新しいデータセット VPWiki を提案します。
さらに、視覚的なプロンプトの重要性を高め、画像とテキストのペアの情報を最大限に活用する FBMEL というフレームワークを提案します。
VPWiki データセットの実験結果は、FBMEL が VP-MEL タスクの複数のベンチマークにわたってベースライン手法よりも優れていることを示しています。

要約(オリジナル)

Multimodal Entity Linking (MEL) is extensively utilized in the domains of information retrieval. However, existing MEL methods typically utilize mention words as mentions for retrieval. This results in a significant dependence of MEL on mention words, thereby constraining its capacity to effectively leverage information from both images and text. In situations where mention words are absent, MEL methods struggle to leverage image-text pairs for entity linking. To solve these issues, we introduce a Visual Prompts guided Multimodal Entity Linking (VP-MEL) task. VP-MEL directly marks specific regions within the image. These markers are referred to as visual prompts in VP-MEL. Without mention words, VP-MEL aims to utilize marked image-text pairs to align visual prompts with specific entities in the knowledge bases. A new dataset for the VP-MEL task, VPWiki, is proposed in this paper. Moreover, we propose a framework named FBMEL, which enhances the significance of visual prompts and fully leverages the information in image-text pairs. Experimental results on the VPWiki dataset demonstrate that FBMEL outperforms baseline methods across multiple benchmarks for the VP-MEL task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google