VCR: Visual Caption Restoration

要約

私たちは、画像内のピクセルレベルのヒントを使用して、部分的に隠れたテキストを正確に復元するというモデルの課題となる、新しい視覚言語タスクである Visual Caption Restoration (VCR) を紹介します。
このタスクは、視覚、テキスト、および画像に埋め込まれたテキストのモダリティを調整する必要があるため、画像に埋め込まれたテキストは一般的な視覚要素や自然言語とは本質的に異なるという観察から生まれました。
多くの作品が画像に埋め込まれたテキストを視覚的な質問応答タスクに統合していますが、これらのタスクへのアプローチは一般に光学式文字認識またはマスクされた言語モデリングに依存しているため、タスクは主にテキストベースの処理に縮小されます。
ただし、正確なテキストの復元は、提供された画像、コンテキスト、およびマスクされたテキストの小さな露出領域からの微妙な手がかりからの組み合わせ情報に依存するため、VCR ではテキストベースの処理は効果的ではなくなります。
画像とキャプションのペアを使用して、タスクの難易度を制御するためにキャプションの可視性を調整して、VCR タスク用の合成画像を生成するパイプラインを開発します。
このパイプラインを使用して、Wikipedia のキャプション付きの画像を使用して、VCR-Wiki と呼ばれる VCR 用のデータセットを構築します。このデータセットは、イージー スプリットとハード スプリットの両方のバリアントで 211 万の英語と 346,000 の中国語のエンティティで構成されます。
私たちの結果は、現在の視覚言語モデルが VCR タスクにおける人間のパフォーマンスよりも大幅に遅れており、データセット上のモデルを微調整するだけでは目立った改善にはつながらないことを明らかにしています。
今後の研究を促進するために、VCR-Wiki とデータ構築コードをリリースします。

要約(オリジナル)

We introduce Visual Caption Restoration (VCR), a novel vision-language task that challenges models to accurately restore partially obscured texts using pixel-level hints within images. This task stems from the observation that text embedded in images is intrinsically different from common visual elements and natural language due to the need to align the modalities of vision, text, and text embedded in images. While numerous works have integrated text embedded in images into visual question-answering tasks, approaches to these tasks generally rely on optical character recognition or masked language modeling, thus reducing the task to mainly text-based processing. However, text-based processing becomes ineffective in VCR as accurate text restoration depends on the combined information from provided images, context, and subtle cues from the tiny exposed areas of masked texts. We develop a pipeline to generate synthetic images for the VCR task using image-caption pairs, with adjustable caption visibility to control the task difficulty. With this pipeline, we construct a dataset for VCR called VCR-Wiki using images with captions from Wikipedia, comprising 2.11M English and 346K Chinese entities in both easy and hard split variants. Our results reveal that current vision language models significantly lag behind human performance in the VCR task, and merely fine-tuning the models on our dataset does not lead to notable improvements. We release VCR-Wiki and the data construction code to facilitate future research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google