Both Text and Images Leaked! A Systematic Analysis of Multimodal LLM Data Contamination

要約

マルチモーダル大規模言語モデル (MLLM) の急速な進歩により、さまざまなマルチモーダル ベンチマークで優れたパフォーマンスが実証されています。
ただし、トレーニング中のデータ汚染の問題により、パフォーマンスの評価と比較に課題が生じます。
大規模言語モデル (LLM) でデータセットの汚染を検出する方法は多数存在しますが、MLLM にはさまざまなモダリティと複数のトレーニング フェーズがあるため、それらはあまり効果的ではありません。
この研究では、MLLM 向けに設計されたマルチモーダル データ汚染検出フレームワーク MM-Detect を紹介します。
私たちの実験結果は、MM-Detect がさまざまな程度の汚染に敏感であり、マルチモーダル ベンチマークのトレーニング セットの漏洩による大幅なパフォーマンスの向上を強調できることを示しています。
さらに、MLLM が使用する LLM の事前トレーニング段階と MLLM の微調整段階に起因する汚染の可能性も調査し、汚染が導入される可能性のある段階についての新たな洞察を提供します。

要約(オリジナル)

The rapid progression of multimodal large language models (MLLMs) has demonstrated superior performance on various multimodal benchmarks. However, the issue of data contamination during training creates challenges in performance evaluation and comparison. While numerous methods exist for detecting dataset contamination in large language models (LLMs), they are less effective for MLLMs due to their various modalities and multiple training phases. In this study, we introduce a multimodal data contamination detection framework, MM-Detect, designed for MLLMs. Our experimental results indicate that MM-Detect is sensitive to varying degrees of contamination and can highlight significant performance improvements due to leakage of the training set of multimodal benchmarks. Furthermore, We also explore the possibility of contamination originating from the pre-training phase of LLMs used by MLLMs and the fine-tuning phase of MLLMs, offering new insights into the stages at which contamination may be introduced.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google