MeaCap: Memory-Augmented Zero-shot Image Captioning

要約

適切にペアリングされた画像テキスト データを使用しないゼロショット画像キャプション (IC) は、トレーニングなしとテキストのみのトレーニングの 2 つのカテゴリに分類できます。
一般に、これら 2 種類の方法は、画像とテキストの類似性評価のための CLIP などの事前学習済み視覚言語モデルと、キャプション生成のための事前学習済み言語モデル (LM) を統合することでゼロショット IC を実現します。
それらの主な違いは、LM のトレーニングにテキスト コーパスを使用するかどうかです。
魅力的なパフォーマンスを達成していますが、
一部のメトリクスでは、既存の方法にいくつかの共通の欠点があることがよくあります。
トレーニングなしの方法では幻覚が生じる傾向がありますが、テキストのみのトレーニングでは汎化能力が失われることがよくあります。
前進するために、この論文では、新しいメモリ拡張ゼロショット画像キャプション フレームワーク (MeaCap) を提案します。
具体的には、テキストメモリを備え、画像に関連性の高い重要な概念を取得するために、取得してからフィルタリングするモジュールを導入します。
私たちが提案する記憶強化された視覚関連融合スコアをキーワードと文の LM に展開することにより、MeaCap は、幻覚が少なく、より世界の知識が豊富な画像との高い一貫性を保つ、コンセプト中心のキャプションを生成できます。
MeaCap のフレームワークは、一連のゼロショット IC 設定で最先端のパフォーマンスを実現します。
私たちのコードは https://github.com/joeyz0z/MeaCap で入手できます。

要約(オリジナル)

Zero-shot image captioning (IC) without well-paired image-text data can be divided into two categories, training-free and text-only-training. Generally, these two types of methods realize zero-shot IC by integrating pretrained vision-language models like CLIP for image-text similarity evaluation and a pre-trained language model (LM) for caption generation. The main difference between them is whether using a textual corpus to train the LM. Though achieving attractive performance w.r.t. some metrics, existing methods often exhibit some common drawbacks. Training-free methods tend to produce hallucinations, while text-only-training often lose generalization capability. To move forward, in this paper, we propose a novel Memory-Augmented zero-shot image Captioning framework (MeaCap). Specifically, equipped with a textual memory, we introduce a retrieve-then-filter module to get key concepts that are highly related to the image. By deploying our proposed memory-augmented visual-related fusion score in a keywords-to-sentence LM, MeaCap can generate concept-centered captions that keep high consistency with the image with fewer hallucinations and more world-knowledge. The framework of MeaCap achieves the state-of-the-art performance on a series of zero-shot IC settings. Our code is available at https://github.com/joeyz0z/MeaCap.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google