Assessing Brittleness of Image-Text Retrieval Benchmarks from Vision-Language Models Perspective

要約

概念の粒度に焦点を当てて、画像テキスト検索 (ITR) 評価パイプラインの脆弱性を調査します。
まず、2 つの一般的なベンチマークである MS-COCO と Flickr30k を分析し、概念の粒度を捉えた指定された言語特徴のセットを前提として、拡張されたきめ細かいバージョンである MS-COCO-FG および Flickr30k-FG と比較します。
Flickr30k-FG と MS COCO-FG は、選択したすべての機能にわたって一貫して高いスコアをもたらします。
粒度の影響についての理解をさらに進めるために、クエリ摂動の新しい分類法を検討します。
これらの摂動を選択したデータセットに適用します。
摂動を適用した場合と適用しない場合のゼロショット条件下で、標準データセットと詳細データセットの両方で 4 つの多様な最先端の視覚言語モデルを評価します。
この結果は、摂動は一般にモデルのパフォーマンスを低下させるものの、きめの細かいデータセットでは標準的なデータセットよりもパフォーマンスの低下が小さいことを示しています。
すべてのセットアップにおける相対的なパフォーマンスの低下は、すべてのモデルとデータセットにわたって一貫しており、問題がベンチマーク自体の中にあることを示しています。
最後に、ITR 評価パイプラインを改善するためのアジェンダを提供します。

要約(オリジナル)

We examine the brittleness of the image-text retrieval (ITR) evaluation pipeline with a focus on concept granularity. We start by analyzing two common benchmarks, MS-COCO and Flickr30k, and compare them with augmented, fine-grained versions, MS-COCO-FG and Flickr30k-FG, given a specified set of linguistic features capturing concept granularity. Flickr30k-FG and MS COCO-FG consistently give rise to higher scores across all the selected features. To further our understanding of the impact of granularity we consider a novel taxonomy of query perturbations. We apply these perturbations to the selected datasets. We evaluate four diverse state-of-the-art Vision-Language models on both the standard and fine-grained datasets under zero-shot conditions, with and without the applied perturbations. The results demonstrate that although perturbations generally degrade model performance, the fine-grained datasets exhibit a smaller performance drop than their standard counterparts. The relative performance drop across all setups is consistent across all models and datasets, indicating that the issue lies within the benchmarks themselves. We conclude by providing an agenda for improving ITR evaluation pipelines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google