What Large Language Models Bring to Text-rich VQA?

要約

テキストリッチ VQA、つまり画像内のテキスト認識に基づくビジュアル質問応答は、画像理解とテキスト認識の両方を必要とするクロスモーダル タスクです。
この研究では、この問題に対処する際の LLM ベースのアプローチの利点とボトルネックを調査することに焦点を当てます。
上記の懸念に対処するために、私たちは視覚モジュールと言語モジュールを分離し、外部 OCR モデルを利用して画像内のテキストを認識し、大規模言語モデル (LLM) を利用してテキストが与えられた質問に答えます。
フレームワーク全体はトレーニング不要で、LLM のコンテキスト内能力の恩恵を受けます。
このパイプラインは、テキストが豊富な 4 つの VQA データセット上で、既存のマルチモーダル大規模言語モデル (MLLM) の大部分と比較して優れたパフォーマンスを達成しました。
さらに、アブレーション研究に基づいて、LLM がより強力な理解力をもたらし、VQA 問題に役立つ知識をもたらす可能性があることがわかりました。
LLM がテキストの多い VQA 問題に対処するためのボトルネックは、主に視覚的な部分にある可能性があります。
また、OCR モジュールと MLLM を組み合わせましたが、嬉しいことに OCR モジュールと MLLM の組み合わせも機能することがわかりました。
すべての MLLM が OCR 情報を理解できるわけではないことに注意してください。OCR 情報は、LLM の能力を維持しながら MLLM をトレーニングする方法についての洞察を提供します。

要約(オリジナル)

Text-rich VQA, namely Visual Question Answering based on text recognition in the images, is a cross-modal task that requires both image comprehension and text recognition. In this work, we focus on investigating the advantages and bottlenecks of LLM-based approaches in addressing this problem. To address the above concern, we separate the vision and language modules, where we leverage external OCR models to recognize texts in the image and Large Language Models (LLMs) to answer the question given texts. The whole framework is training-free benefiting from the in-context ability of LLMs. This pipeline achieved superior performance compared to the majority of existing Multimodal Large Language Models (MLLM) on four text-rich VQA datasets. Besides, based on the ablation study, we find that LLM brings stronger comprehension ability and may introduce helpful knowledge for the VQA problem. The bottleneck for LLM to address text-rich VQA problems may primarily lie in visual part. We also combine the OCR module with MLLMs and pleasantly find that the combination of OCR module with MLLM also works. It’s worth noting that not all MLLMs can comprehend the OCR information, which provides insights into how to train an MLLM that preserves the abilities of LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google