VLR-Bench: Multilingual Benchmark Dataset for Vision-Language Retrieval Augmented Generation

要約

我々は、検索拡張生成 (RAG) に基づいて視覚言語モデル (VLM) を評価するための視覚的質問応答 (VQA) ベンチマークである VLR-Bench を提案します。
外部知識ベース VQA の既存の評価データセットとは異なり、提案された VLR ベンチには 5 つの入力パッセージが含まれています。
これにより、どの文章が与えられた質問に答えるのに役立つかを判断する能力をテストすることができますが、これは以前の研究には欠けていた能力です。
これに関連して、私たちは、自動的に生成された命令に従うサンプル 32,000 個のデータセットを構築しました。これを VLR-IF と呼びます。
このデータセットは、入力された文章に基づいて適切な回答を生成する方法を VLM が学習できるようにすることで、VLM の RAG 機能を強化するように特別に設計されています。
私たちは、提案されたベンチマークとトレーニング データの妥当性を評価し、最先端の Llama3 ベースの VLM、Llava-Llama-3 モデルを使用してそのパフォーマンスを検証しました。
提案された VLR-Bench および VLR-IF データセットは、オンラインで公開されています。

要約(オリジナル)

We propose the VLR-Bench, a visual question answering (VQA) benchmark for evaluating vision language models (VLMs) based on retrieval augmented generation (RAG). Unlike existing evaluation datasets for external knowledge-based VQA, the proposed VLR-Bench includes five input passages. This allows testing of the ability to determine which passage is useful for answering a given query, a capability lacking in previous research. In this context, we constructed a dataset of 32,000 automatically generated instruction-following examples, which we denote as VLR-IF. This dataset is specifically designed to enhance the RAG capabilities of VLMs by enabling them to learn how to generate appropriate answers based on input passages. We evaluated the validity of the proposed benchmark and training data and verified its performance using the state-of-the-art Llama3-based VLM, the Llava-Llama-3 model. The proposed VLR-Bench and VLR-IF datasets are publicly available online.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google