Quantifying Memorization and Retriever Performance in Retrieval-Augmented Vision-Language Models

要約

大規模な言語モデル（LLMS）は、質問応答（QA）で顕著な能力を示していますが、記憶と検索への依存を評価するためのメトリックは未発達のままです。
さらに、Finetunedモデルはクローズドドメインタスクの最先端ですが、GPT-4Oのような汎用モデルは強力なゼロショットパフォーマンスを示します。
これにより、暗記、一般化、取得の間のトレードオフに関する疑問が生じます。
この作業では、ベースラインVLMと比較して、マルチモーダル検索されたAugmented VLMがトレーニングデータを記憶する程度を分析します。
WebQAベンチマークを使用して、MultiHOPの取得と質問応答のベースラインVLMとFintunedモデルを対比し、データの記憶に対する微調整の影響を調べます。
エンドツーエンドの検索およびQAシステムの暗記を定量化するために、検索が失敗したにもかかわらずQAが成功するインスタンスを調査することにより、いくつかのプロキシメトリックを提案します。
我々の結果は、微調ューされたモデルが暗記に依存している程度を明らかにしています。
対照的に、検索された高級VLMは、精度の犠牲を払って記憶スコアが低くなります（WebQAテストセットでは72％対52％）。
そのため、私たちの措置は、オープンドメインQAと共同検索QAタスクの両方で暗記と一般化を調和させるための将来の作業にとって課題をもたらします。

要約(オリジナル)

Large Language Models (LLMs) demonstrate remarkable capabilities in question answering (QA), but metrics for assessing their reliance on memorization versus retrieval remain underdeveloped. Moreover, while finetuned models are state-of-the-art on closed-domain tasks, general-purpose models like GPT-4o exhibit strong zero-shot performance. This raises questions about the trade-offs between memorization, generalization, and retrieval. In this work, we analyze the extent to which multimodal retrieval-augmented VLMs memorize training data compared to baseline VLMs. Using the WebQA benchmark, we contrast finetuned models with baseline VLMs on multihop retrieval and question answering, examining the impact of finetuning on data memorization. To quantify memorization in end-to-end retrieval and QA systems, we propose several proxy metrics by investigating instances where QA succeeds despite retrieval failing. Our results reveal the extent to which finetuned models rely on memorization. In contrast, retrieval-augmented VLMs have lower memorization scores, at the cost of accuracy (72% vs 52% on WebQA test set). As such, our measures pose a challenge for future work to reconcile memorization and generalization in both Open-Domain QA and joint Retrieval-QA tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google