Show, Interpret and Tell: Entity-aware Contextualised Image Captioning in Wikipedia

要約

人間は画像を説明するために事前の知識を利用し、コンテキスト情報と画像が一致しない場合でも、もっともらしい説明を発明する程度まで、特定のコンテキスト情報に説明を適応させることができます。
この作業では、コンテキスト知識を統合することにより、ウィキペディアの画像にキャプションを付けるという新しいタスクを提案します。
具体的には、ウィキペディアの記事、ウィキメディアの画像、および関連する説明を共同で推論して、コンテキスト化されたキャプションを作成するモデルを作成します。
特に、同様のウィキメディア画像を使用してさまざまな記事を説明することができ、作成されたキャプションは特定のコンテキストに適合させる必要があるため、キャプションをさまざまなコンテキスト情報に調整するモデルの限界を探ることができます。
この分野で特に困難なタスクは、辞書に載っていない単語と名前付きエンティティを処理することです。
これに対処するために、トレーニング前の目的である Masked Named Entity Modeling (MNEM) を提案し、この口実タスクがベースライン モデルと比較して改善をもたらすことを示します。
さらに、ウィキペディアの MNEM 目的で事前トレーニングされたモデルが、ニュース キャプション データセットにうまく一般化されることを確認します。
さらに、キャプション タスクの難易度に応じて、2 つの異なるテスト分割を定義します。
各モダリティの役割と重要性についての洞察を提供し、モデルの限界を強調します。
コード、モデル、およびデータ分割は、承認時に公開されます。

要約(オリジナル)

Humans exploit prior knowledge to describe images, and are able to adapt their explanation to specific contextual information, even to the extent of inventing plausible explanations when contextual information and images do not match. In this work, we propose the novel task of captioning Wikipedia images by integrating contextual knowledge. Specifically, we produce models that jointly reason over Wikipedia articles, Wikimedia images and their associated descriptions to produce contextualized captions. Particularly, a similar Wikimedia image can be used to illustrate different articles, and the produced caption needs to be adapted to a specific context, therefore allowing us to explore the limits of a model to adjust captions to different contextual information. A particular challenging task in this domain is dealing with out-of-dictionary words and Named Entities. To address this, we propose a pre-training objective, Masked Named Entity Modeling (MNEM), and show that this pretext task yields an improvement compared to baseline models. Furthermore, we verify that a model pre-trained with the MNEM objective in Wikipedia generalizes well to a News Captioning dataset. Additionally, we define two different test splits according to the difficulty of the captioning task. We offer insights on the role and the importance of each modality and highlight the limitations of our model. The code, models and data splits are publicly available at Upon acceptance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google