Transferable Decoding with Visual Entities for Zero-Shot Image Captioning

要約

画像からテキストへの生成は、自然言語を使用して画像を記述することを目的としています。
最近、事前トレーニングされたビジョン言語モデル (VLM) とラージ言語モデル (LLM) に基づくゼロショット画像キャプション作成が大幅に進歩しました。
しかし、これらの方法はLLMによって引き起こされるモダリティバイアスの影響を受けやすく、実際には画像には存在しないがトレーニング中に頻繁に現れるオブジェクト（エンティティ）を含む記述（つまり、オブジェクトの幻覚）を生成する傾向があることを観察し、経験的に実証しました。
この論文では、エンティティ認識デコーディングを活用して、目に見えるシナリオと目に見えないシナリオの両方で記述を生成する転送可能なデコーディング モデルである ViECap を提案します。
ViECap には、画像内に存在する視覚エンティティに LLM の注意を導くエンティティ認識ハード プロンプトが組み込まれており、さまざまなシーンにわたって一貫したキャプションの生成が可能になります。
エンティティ認識のハード プロンプトを使用すると、ViECap はドメイン内シナリオからドメイン外シナリオに転送するときにパフォーマンスを維持できます。
広範な実験により、ViECap が新しい最先端のクロスドメイン (転送可能) キャプションを設定し、以前の VLM ベースのゼロショット方式と比較して競合するドメイン内キャプションを実行することが実証されました。
私たちのコードはhttps://github.com/FeiElysia/ViECapから入手できます。

要約(オリジナル)

Image-to-text generation aims to describe images using natural language. Recently, zero-shot image captioning based on pre-trained vision-language models (VLMs) and large language models (LLMs) has made significant progress. However, we have observed and empirically demonstrated that these methods are susceptible to modality bias induced by LLMs and tend to generate descriptions containing objects (entities) that do not actually exist in the image but frequently appear during training (i.e., object hallucination). In this paper, we propose ViECap, a transferable decoding model that leverages entity-aware decoding to generate descriptions in both seen and unseen scenarios. ViECap incorporates entity-aware hard prompts to guide LLMs’ attention toward the visual entities present in the image, enabling coherent caption generation across diverse scenes. With entity-aware hard prompts, ViECap is capable of maintaining performance when transferring from in-domain to out-of-domain scenarios. Extensive experiments demonstrate that ViECap sets a new state-of-the-art cross-domain (transferable) captioning and performs competitively in-domain captioning compared to previous VLMs-based zero-shot methods. Our code is available at: https://github.com/FeiElysia/ViECap

arxiv情報

提供元, 利用サービス

arxiv.jp, Google