Prometheus-Vision: Vision-Language Model as a Judge for Fine-Grained Evaluation

要約

視覚言語モデル (VLM) によって生成された長い形式の応答を評価するのは困難です。
VLM が指定された命令に従っているかどうかを確認するだけでなく、テキスト出力が指定された画像に基づいているかどうかを検証することも必要です。
LM を使用して LM を評価するという最近のアプローチに触発されて、この研究では、VLM を使用して VLM を評価することを提案します。
この目的のために、ユーザーが評価中に気にする可能性のある 15,000 個のカスタマイズされたスコア ルーブリックを含む、Perception Collection と呼ばれる新しいフィードバック データセットを提供します。
Perception Collection を使用して、評価中にユーザー定義のスコア基準を理解できる初のオープンソース VLM 評価モデルである Prometheus-Vision をトレーニングします。
Prometheus-Vision は、オープンソース モデルの中で人間の評価者および GPT-4V と最も高いピアソン相関を示し、VLM の透明性とアクセスしやすさの評価にその有効性を示しています。
コード、データセット、モデルを https://github.com/kaistAI/prometheus-vision でオープンソース化しています。

要約(オリジナル)

Assessing long-form responses generated by Vision-Language Models (VLMs) is challenging. It not only requires checking whether the VLM follows the given instruction but also verifying whether the text output is properly grounded on the given image. Inspired by the recent approach of evaluating LMs with LMs, in this work, we propose to evaluate VLMs with VLMs. For this purpose, we present a new feedback dataset called the Perception Collection, encompassing 15K customized score rubrics that users might care about during assessment. Using the Perception Collection, we train Prometheus-Vision, the first open-source VLM evaluator model that can understand the user-defined score criteria during evaluation. Prometheus-Vision shows the highest Pearson correlation with human evaluators and GPT-4V among open-source models, showing its effectiveness for transparent and accessible evaluation of VLMs. We open-source our code, dataset, and model at https://github.com/kaistAI/prometheus-vision

arxiv情報

提供元, 利用サービス

arxiv.jp, Google