JDocQA: Japanese Document Question Answering Dataset for Generative Language Models

要約

文書質疑応答は、報告書、スライド、パンフレット、ウェブサイトなどの与えられた文書に対して質問に答える業務であり、紙や電子形式の文書が普及している社会においては、非常に難易度の高い業務です。
これは、文章の理解だけでなく図や表の理解も必要となるため、非常に難しい課題として知られており、文章だけでなくビジュアル質問応答（VQA）手法も検討されることが多いです。
私たちは、大規模なドキュメントベースの QA データセットである Japanese Document Question Answering (JDocQA) を紹介します。これは、質問に回答するために基本的に視覚情報とテキスト情報の両方を必要とし、PDF 形式の 5,504 のドキュメントと、注釈付きの日本語の 11,600 の質問と回答のインスタンスで構成されます。
各 QA インスタンスには、文書ページへの参照と、回答の手掛かりの境界ボックスが含まれています。
現実的な質問応答アプリケーションのために、ドキュメントから複数のカテゴリの質問と答えられない質問を組み込みます。
私たちは、テキストベースの大規模言語モデル (LLM) とマルチモーダル モデルを使用して、データセットの有効性を経験的に評価しています。
答えのない質問を微調整に組み込むことは、いわゆる幻覚生成の利用に貢献する可能性があります。

要約(オリジナル)

Document question answering is a task of question answering on given documents such as reports, slides, pamphlets, and websites, and it is a truly demanding task as paper and electronic forms of documents are so common in our society. This is known as a quite challenging task because it requires not only text understanding but also understanding of figures and tables, and hence visual question answering (VQA) methods are often examined in addition to textual approaches. We introduce Japanese Document Question Answering (JDocQA), a large-scale document-based QA dataset, essentially requiring both visual and textual information to answer questions, which comprises 5,504 documents in PDF format and annotated 11,600 question-and-answer instances in Japanese. Each QA instance includes references to the document pages and bounding boxes for the answer clues. We incorporate multiple categories of questions and unanswerable questions from the document for realistic question-answering applications. We empirically evaluate the effectiveness of our dataset with text-based large language models (LLMs) and multimodal models. Incorporating unanswerable questions in finetuning may contribute to harnessing the so-called hallucination generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google