Instruction Makes a Difference

要約

文書分析と文書画像の予測のための言語視覚 (LV) モデルをそれぞれトレーニングするための、指示文書ビジュアル質問応答 (iDocVQA) データセットとラージ言語文書 (LLaDoc) モデルを紹介します。
通常、DocVQA タスクのディープ ニューラル ネットワークは、命令のないデータセットでトレーニングされます。
命令に従うデータセットを使用するとパフォーマンスが向上することを示します。
最新の (SotA) Large Language and Vision Assistant (LLaVA)1.5 をベース モデルとして使用し、ドキュメント関連のデータセット全体のパフォーマンスを比較します。
また、ポーリングベースのオブジェクト探索評価 (POPE) データセットを使用して、オブジェクト幻覚の派生モデルのパフォーマンスも評価します。
結果は、命令チューニングのパフォーマンスがゼロショット パフォーマンスの 11 倍から 32 倍、非命令 (従来のタスク) 微調整よりも 0.1% ～ 4.2% の範囲であることを示しています。
向上したにもかかわらず、これらは依然として人間のパフォーマンス (94.36%) には及ばず、改善の余地が多くあることを示唆しています。

要約(オリジナル)

We introduce Instruction Document Visual Question Answering (iDocVQA) dataset and Large Language Document (LLaDoc) model, for training Language-Vision (LV) models for document analysis and predictions on document images, respectively. Usually, deep neural networks for the DocVQA task are trained on datasets lacking instructions. We show that using instruction-following datasets improves performance. We compare performance across document-related datasets using the recent state-of-the-art (SotA) Large Language and Vision Assistant (LLaVA)1.5 as the base model. We also evaluate the performance of the derived models for object hallucination using the Polling-based Object Probing Evaluation (POPE) dataset. The results show that instruction-tuning performance ranges from 11X to 32X of zero-shot performance and from 0.1% to 4.2% over non-instruction (traditional task) finetuning. Despite the gains, these still fall short of human performance (94.36%), implying there’s much room for improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google