Synthetic Multimodal Question Generation

要約

マルチモーダル検索拡張生成 (MMRAG) は、マルチモーダル ドキュメントに対する質問応答への強力なアプローチです。
MMRAG を評価する際の主な課題は、関心のある質問スタイルとモダリティに一致する高品質のデータセットが不足していることです。
これを考慮して、合成データ生成フレームワークである SMMQG を提案します。
SMMQG は、レトリーバー、大規模言語モデル (LLM)、および大規模マルチモーダル モデル (LMM) 間の相互作用を利用して、指定されたスタイルとモダリティに準拠した質問を含む質問と回答のペアをマルチモーダル ドキュメントから直接生成します。
私たちは SMMQG を使用して、Wikipedia ドキュメントに対する 1024 の質問からなる MMRAG データセットを生成し、それを使用して最先端のモデルを評価し、スタイルおよびモダリティ固有の評価データを通じてのみ達成できるモデルのパフォーマンスに関する洞察を明らかにします。
次に、SMMQG によって生成されたデータの品質を人間の研究を通じて測定します。
合成データの品質はクラウドソースのベンチマーク MMQA の品質と同等であり、両方のデータセットを使用した下流の評価結果は強く一致していることがわかりました。

要約(オリジナル)

Multimodal Retrieval Augmented Generation (MMRAG) is a powerful approach to question-answering over multimodal documents. A key challenge with evaluating MMRAG is the paucity of high-quality datasets matching the question styles and modalities of interest. In light of this, we propose SMMQG, a synthetic data generation framework. SMMQG leverages interplay between a retriever, large language model (LLM) and large multimodal model (LMM) to generate question and answer pairs directly from multimodal documents, with the questions conforming to specified styles and modalities. We use SMMQG to generate an MMRAG dataset of 1024 questions over Wikipedia documents and evaluate state-of-the-art models using it, revealing insights into model performance that are attainable only through style- and modality-specific evaluation data. Next, we measure the quality of data produced by SMMQG via a human study. We find that the quality of our synthetic data is on par with the quality of the crowdsourced benchmark MMQA and that downstream evaluation results using both datasets strongly concur.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google