LLMs as Bridges: Reformulating Grounded Multimodal Named Entity Recognition

要約

Grounded Multimodal Named Entity Recognition (GMNER) は、名前付きエンティティ、エンティティ タイプ、およびそれらに対応する視覚領域を識別することを目的とした、初期段階のマルチモーダル タスクです。
GMNER タスクは 2 つの困難な特性を示します。 1) ソーシャル メディアの画像とテキストのペア間の相関が弱いため、名前付きエンティティのかなりの部分が根拠が得られません。
2) 同様のタスク (フレーズの位置特定、参照表現の理解など) で一般的に使用される粗粒度の参照表現と、粒度の細かい名前付きエンティティとの間には区別があります。
この論文では、接続ブリッジとして大規模言語モデル (LLM) を活用することで、GMNER を MNER-VE-VG 共同タスクに再定式化する統一フレームワークである RiVEG を提案します。
この再定式化は 2 つの利点をもたらします。 1) 最適な MNER パフォーマンスを維持し、地域特徴を事前に抽出するために物体検出方法を採用する必要性を排除し、それによって既存の GMNER 方法の 2 つの主要な制限に自然に対処します。
2) エンティティ拡張式と Visual Entailment (VE) モジュールの導入により、Visual Grounding (VG) と Entity Grounding (EG) が統合されます。
これにより、RiVEG は、現在または将来のマルチモーダル事前トレーニング モデルの Visual Entailment および Visual Grounding 機能を簡単に継承できるようになります。
広範な実験により、RiVEG が既存の GMNER データセットで最先端の手法を上回り、3 つのサブタスクすべてで 10.65%、6.21%、および 8.83% の絶対リードを達成することが実証されました。

要約(オリジナル)

Grounded Multimodal Named Entity Recognition (GMNER) is a nascent multimodal task that aims to identify named entities, entity types and their corresponding visual regions. GMNER task exhibits two challenging properties: 1) The weak correlation between image-text pairs in social media results in a significant portion of named entities being ungroundable. 2) There exists a distinction between coarse-grained referring expressions commonly used in similar tasks (e.g., phrase localization, referring expression comprehension) and fine-grained named entities. In this paper, we propose RiVEG, a unified framework that reformulates GMNER into a joint MNER-VE-VG task by leveraging large language models (LLMs) as a connecting bridge. This reformulation brings two benefits: 1) It maintains the optimal MNER performance and eliminates the need for employing object detection methods to pre-extract regional features, thereby naturally addressing two major limitations of existing GMNER methods. 2) The introduction of entity expansion expression and Visual Entailment (VE) module unifies Visual Grounding (VG) and Entity Grounding (EG). It enables RiVEG to effortlessly inherit the Visual Entailment and Visual Grounding capabilities of any current or prospective multimodal pretraining models. Extensive experiments demonstrate that RiVEG outperforms state-of-the-art methods on the existing GMNER dataset and achieves absolute leads of 10.65%, 6.21%, and 8.83% in all three subtasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google