ViTextVQA: A Large-Scale Visual Question Answering Dataset for Evaluating Vietnamese Text Comprehension in Images

要約

Visual Question Answering (VQA) は、自然言語と画像を同時に処理する機能を必要とする複雑なタスクです。
当初、このタスクは、機械が画像内のオブジェクトやシーンのコンテキストを理解できるようにする方法に焦点を当てて研究されました。
ただし、画像内に表示される、画像の完全な内容に関する明示的な情報を伝えるテキストの一部については言及されていません。
AI時代の発展に伴い、世界中でVQAモデルの読解能力に関する研究が数多く行われています。
発展途上国として条件はまだ限られており、ベトナムではこの課題はまだ残されています。
したがって、画像に表示されるテキストを理解する機能に特化したベトナム語初の大規模データセットを導入します。これを ViTextVQA (\textbf{Vi}etnamese \textbf{Text} ベースの \textbf{V}isual \textbf{
質問 \textbf{A} 回答データセット）には、\textbf{16,000 個以上の画像と \textbf{50,000 個以上の質問と回答が含まれています。
さまざまな最先端のモデルを使用した綿密な実験を通じて、回答を定式化するために OCR テキスト内のトークンが処理および選択される順序の重要性を明らかにします。
この発見は、ViTextVQA データセット上のベースライン モデルのパフォーマンスを大幅に向上させるのに役立ちました。
私たちのデータセットは、研究目的でこの \href{https://github.com/minhquan6203/ViTextVQA-Dataset}{link} から入手できます。

要約(オリジナル)

Visual Question Answering (VQA) is a complicated task that requires the capability of simultaneously processing natural language and images. Initially, this task was researched, focusing on methods to help machines understand objects and scene contexts in images. However, some text appearing in the image that carries explicit information about the full content of the image is not mentioned. Along with the continuous development of the AI era, there have been many studies on the reading comprehension ability of VQA models in the world. As a developing country, conditions are still limited, and this task is still open in Vietnam. Therefore, we introduce the first large-scale dataset in Vietnamese specializing in the ability to understand text appearing in images, we call it ViTextVQA (\textbf{Vi}etnamese \textbf{Text}-based \textbf{V}isual \textbf{Q}uestion \textbf{A}nswering dataset) which contains \textbf{over 16,000} images and \textbf{over 50,000} questions with answers. Through meticulous experiments with various state-of-the-art models, we uncover the significance of the order in which tokens in OCR text are processed and selected to formulate answers. This finding helped us significantly improve the performance of the baseline models on the ViTextVQA dataset. Our dataset is available at this \href{https://github.com/minhquan6203/ViTextVQA-Dataset}{link} for research purposes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google