PairBench: A Systematic Framework for Selecting Reliable Judge VLMs

要約

大規模なビジョン言語モデル（VLM）が自動化された評価者としてますます使用されているため、プロンプトで指示されているようにデータペアを効果的に比較する能力を理解することが不可欠になります。
これに対処するために、さまざまなモダリティやシナリオにわたってカスタマイズ可能な類似性ツールとしてVLMを体系的に評価する低コストのフレームワークであるペアベンチを提示します。
ペアベンチを介して、類似性スコアの重要なデシデラタを表す4つのメトリックを紹介します。ヒトの注釈とのアラインメント、順序の一貫性、類似性分布の滑らかさ、プロンプトによる制御可能性。
私たちの分析は、閉鎖またはオープンソースであろうと、すべてのメトリックで優れているモデルはないことを示しています。
最適な選択は、自動車評価者の望ましい動作（たとえば、スムーズとシャープジャッジ）に依存し、徹底的な評価なしで評価者としてのVLMSの広範な採用のリスクを強調しています。
たとえば、VLMの大部分は、順序に関係なく、対称的な類似性スコアの維持に苦労しています。
さらに、我々の結果は、ペアベンチのメトリック上のVLMのパフォーマンスが一般的なベンチマークと密接に相関しており、ランキングモデルでの予測力を紹介することを示しています。

要約(オリジナル)

As large vision language models (VLMs) are increasingly used as automated evaluators, understanding their ability to effectively compare data pairs as instructed in the prompt becomes essential. To address this, we present PairBench, a low-cost framework that systematically evaluates VLMs as customizable similarity tools across various modalities and scenarios. Through PairBench, we introduce four metrics that represent key desiderata of similarity scores: alignment with human annotations, consistency for data pairs irrespective of their order, smoothness of similarity distributions, and controllability through prompting. Our analysis demonstrates that no model, whether closed- or open-source, is superior on all metrics; the optimal choice depends on an auto evaluator’s desired behavior (e.g., a smooth vs. a sharp judge), highlighting risks of widespread adoption of VLMs as evaluators without thorough assessment. For instance, the majority of VLMs struggle with maintaining symmetric similarity scores regardless of order. Additionally, our results show that the performance of VLMs on the metrics in PairBench closely correlates with popular benchmarks, showcasing its predictive power in ranking models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google