SlideVQA: A Dataset for Document Visual Question Answering on Multiple Images

要約

文書 VQA と呼ばれる、テキスト、視覚、およびレイアウト情報を含む文書画像に対する視覚的質問応答は、最近大きな注目を集めています。
ドキュメント VQA システムを開発するために多くのデータセットが提案されていますが、既存のデータセットのほとんどは、複数の画像間ではなく、単一の画像内のコンテンツの関係を理解することに重点を置いています。
この研究では、52k 以上のスライド画像とスライド デッキに関する 14.5k の質問で構成される 2.6k 以上のスライド デッキを含む、新しい複数画像ドキュメント VQA データセット、SlideVQA を提案します。
SlideVQA は、シングルホップ、マルチホップ、および数値推論を含む複雑な推論を必要とし、数値推論の能力を強化するための数値回答の注釈付き算術式も提供します。
さらに、証拠の選択と質問への回答を統一されたシーケンス ツー シーケンス形式で処理する、新しいエンド ツー エンドのドキュメント VQA モデルを開発しました。
SlideVQA での実験は、私たちのモデルが既存の最先端の QA モデルよりも優れていることを示していますが、それでも人間のパフォーマンスには大きな差があることを示しています。
私たちのデータセットはドキュメント VQA の研究を促進すると信じています。

要約(オリジナル)

Visual question answering on document images that contain textual, visual, and layout information, called document VQA, has received much attention recently. Although many datasets have been proposed for developing document VQA systems, most of the existing datasets focus on understanding the content relationships within a single image and not across multiple images. In this study, we propose a new multi-image document VQA dataset, SlideVQA, containing 2.6k+ slide decks composed of 52k+ slide images and 14.5k questions about a slide deck. SlideVQA requires complex reasoning, including single-hop, multi-hop, and numerical reasoning, and also provides annotated arithmetic expressions of numerical answers for enhancing the ability of numerical reasoning. Moreover, we developed a new end-to-end document VQA model that treats evidence selection and question answering in a unified sequence-to-sequence format. Experiments on SlideVQA show that our model outperformed existing state-of-the-art QA models, but that it still has a large gap behind human performance. We believe that our dataset will facilitate research on document VQA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google