Clean Evaluations on Contaminated Visual Language Models

要約

大規模言語モデル (LLM) をクリーンに評価する方法は、汚染されている可能性のある LLM のパフォーマンスを純粋に報告するための重要な研究時代として確立されています。
しかし、視覚言語モデル (VLM) を適切に評価する方法は十分に研究されていない問題です。
我々は、視覚入力情報のデータ拡張手法を通じてそのような目標を達成するための新しいアプローチを提案します。
次に、数千のデータ インスタンスを使用して、新しい視覚的にクリーンな評価ベンチマークを作成します。
広範な実験を通じて、従来の視覚データ拡張手法は有用であるものの、回避策としてトレーニング データの一部として使用される危険性があることがわかりました。
さらに、BGR 拡張を使用して視覚情報のカラー チャネルを切り替えることを提案します。
これは、データ汚染の影響を軽減するためのシンプルかつ効果的な方法であることがわかりましたが、幸いなことに、トレーニング中にデータ拡張方法として使用すると有害でもあります。
これは、このようなデータ拡張を悪意のあるトレーナーによるトレーニングに組み込むのは難しく、視覚的な LLM をクリーンに評価するための有望な手法である可能性があることを意味します。
コード、データ、およびモデルの重みは、出版時に公開されます。

要約(オリジナル)

How to evaluate large language models (LLMs) cleanly has been established as an important research era to genuinely report the performance of possibly contaminated LLMs. Yet, how to cleanly evaluate the visual language models (VLMs) is an under-studied problem. We propose a novel approach to achieve such goals through data augmentation methods on the visual input information. We then craft a new visual clean evaluation benchmark with thousands of data instances. Through extensive experiments, we found that the traditional visual data augmentation methods are useful, but they are at risk of being used as a part of the training data as a workaround. We further propose using BGR augmentation to switch the colour channel of the visual information. We found that it is a simple yet effective method for reducing the effect of data contamination and fortunately, it is also harmful to be used as a data augmentation method during training. It means that it is hard to integrate such data augmentation into training by malicious trainers and it could be a promising technique to cleanly evaluate visual LLMs. Our code, data, and model weights will be released upon publication.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google