A Dual-way Enhanced Framework from Text Matching Point of View for Multimodal Entity Linking

要約

マルチモーダル エンティティ リンク (MEL) は、マルチモーダル情報を持つあいまいな言及を、多くのアプリケーションで重要な役割を果たす Wikipedia などのナレッジ グラフ (KG) 内のエンティティにリンクすることを目的としています。
ただし、既存の方法には、生の画像内のノイズや曖昧なテキスト エンティティ表現などのモダリティの不純物が含まれ、MEL の障害となるという欠点があります。
マルチモーダル エンティティ リンクをニューラル テキスト マッチング問題として定式化します。この問題では、各マルチモーダル情報 (テキストと画像) がクエリとして扱われ、モデルは各クエリから候補エンティティから関連するエンティティへのマッピングを学習します。
このペーパーでは、MEL のデュアルウェイ エンハンスド (DWE) フレームワークを紹介します。(1) 私たちのモデルは、マルチモーダル データを使用してクエリを絞り込み、テキストと画像情報の間のクロスモーダル エンハンサーを使用してセマンティック ギャップに対処します。
さらに、DWE は、顔の特徴やシーンの特徴などのきめ細かい画像属性を革新的に活用して、視覚的な特徴を強化および洗練します。
(2) Wikipedia の記述を使用することにより、DWE はエンティティのセマンティクスを強化し、より包括的なテキスト表現を取得します。これにより、テキスト表現と KG 内のエンティティの間の距離が短縮されます。
3 つの公開ベンチマークに関する広範な実験により、私たちの手法が最先端 (SOTA) のパフォーマンスを達成することが実証され、私たちのモデルの優位性が示されています。
コードは https://github.com/season1blue/DWE で公開されています

要約(オリジナル)

Multimodal Entity Linking (MEL) aims at linking ambiguous mentions with multimodal information to entity in Knowledge Graph (KG) such as Wikipedia, which plays a key role in many applications. However, existing methods suffer from shortcomings, including modality impurity such as noise in raw image and ambiguous textual entity representation, which puts obstacles to MEL. We formulate multimodal entity linking as a neural text matching problem where each multimodal information (text and image) is treated as a query, and the model learns the mapping from each query to the relevant entity from candidate entities. This paper introduces a dual-way enhanced (DWE) framework for MEL: (1) our model refines queries with multimodal data and addresses semantic gaps using cross-modal enhancers between text and image information. Besides, DWE innovatively leverages fine-grained image attributes, including facial characteristic and scene feature, to enhance and refine visual features. (2)By using Wikipedia descriptions, DWE enriches entity semantics and obtains more comprehensive textual representation, which reduces between textual representation and the entities in KG. Extensive experiments on three public benchmarks demonstrate that our method achieves state-of-the-art (SOTA) performance, indicating the superiority of our model. The code is released on https://github.com/season1blue/DWE

arxiv情報

提供元, 利用サービス

arxiv.jp, Google