Rethinking the Reference-based Distinctive Image Captioning

要約

特徴的な画像キャプション（DIC）（ターゲット画像の固有の詳細を説明する特徴的なキャプションを生成する）は、過去数年にわたってかなりの注目を集めています。
最近のDICの研究では、ターゲット画像をセマンティックに類似した参照画像のセット、つまり参照ベースのDIC（Ref-DIC）と比較することにより、特徴的なキャプションを生成することが提案されています。
生成されたキャプションがターゲット画像と参照画像を区別できるようにすることを目的としています。
残念ながら、既存のRef-DIC作品で使用されている参照画像は簡単に区別できます。これらの参照画像は、シーンレベルでターゲット画像に似ているだけで、共通のオブジェクトがほとんどないため、Ref-DICモデルでは、
参照画像。
Ref-DICモデルがターゲット画像内の一意のオブジェクト（または属性）を実際に認識できるようにするために、最初に2つの新しいRef-DICベンチマークを提案します。
具体的には、オブジェクト/属性レベル（対シーンレベル）でターゲット画像と参照画像の類似性を厳密に制御する2段階のマッチングメカニズムを設計します。
次に、特徴的なキャプションを生成するために、TransDICと呼ばれる強力なTransformerベースのRef-DICベースラインを開発します。
ターゲット画像から視覚的特徴を抽出するだけでなく、ターゲット画像と参照画像のオブジェクト間の違いをエンコードします。
最後に、より信頼性の高いベンチマークのために、生成されたキャプションの精度と識別性の両方を評価する、Ref-DIC用のDisCIDErという名前の新しい評価メトリックを提案します。
実験結果は、TransDICが独特のキャプションを生成できることを示しています。
さらに、異なるメトリックで2つの新しいベンチマークでいくつかの最先端モデルよりも優れています。

要約(オリジナル)

Distinctive Image Captioning (DIC) — generating distinctive captions that describe the unique details of a target image — has received considerable attention over the last few years. A recent DIC work proposes to generate distinctive captions by comparing the target image with a set of semantic-similar reference images, i.e., reference-based DIC (Ref-DIC). It aims to make the generated captions can tell apart the target and reference images. Unfortunately, reference images used by existing Ref-DIC works are easy to distinguish: these reference images only resemble the target image at scene-level and have few common objects, such that a Ref-DIC model can trivially generate distinctive captions even without considering the reference images. To ensure Ref-DIC models really perceive the unique objects (or attributes) in target images, we first propose two new Ref-DIC benchmarks. Specifically, we design a two-stage matching mechanism, which strictly controls the similarity between the target and reference images at object-/attribute- level (vs. scene-level). Secondly, to generate distinctive captions, we develop a strong Transformer-based Ref-DIC baseline, dubbed as TransDIC. It not only extracts visual features from the target image, but also encodes the differences between objects in the target and reference images. Finally, for more trustworthy benchmarking, we propose a new evaluation metric named DisCIDEr for Ref-DIC, which evaluates both the accuracy and distinctiveness of the generated captions. Experimental results demonstrate that our TransDIC can generate distinctive captions. Besides, it outperforms several state-of-the-art models on the two new benchmarks over different metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google