EKTVQA: Generalized use of External Knowledge to empower Scene Text in Text-VQA

要約

Text-VQAの自由形式の質問応答タスクでは、画像のめったに見られない、または完全に見られないシーンテキストコンテンツについて読んで推論する必要があります。
シーンテキストの理解を強化するために外部知識の一般的な使用を提案することにより、問題のこのゼロショットの性質に対処します。
ビジョン言語理解タスク用の標準マルチモーダルトランスフォーマーを使用して、知識を抽出、検証、および推論するためのフレームワークを設計します。
経験的証拠と定性的結果を通じて、外部の知識がインスタンスのみの手がかりを強調し、トレーニングデータのバイアスに対処し、回答エンティティタイプの正確性を向上させ、マルチワードの名前付きエンティティを検出する方法を示します。
同様のアップストリームOCRシステムとトレーニングデータの制約の下で、3つの公開されているデータセットで最先端に匹敵する結果を生成します。

要約(オリジナル)

The open-ended question answering task of Text-VQA often requires reading and reasoning about rarely seen or completely unseen scene-text content of an image. We address this zero-shot nature of the problem by proposing the generalized use of external knowledge to augment our understanding of the scene text. We design a framework to extract, validate, and reason with knowledge using a standard multimodal transformer for vision language understanding tasks. Through empirical evidence and qualitative results, we demonstrate how external knowledge can highlight instance-only cues and thus help deal with training data bias, improve answer entity type correctness, and detect multiword named entities. We generate results comparable to the state-of-the-art on three publicly available datasets, under the constraints of similar upstream OCR systems and training data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google