G-VEval: A Versatile Metric for Evaluating Image and Video Captions Using GPT-4o

要約

視覚的なキャプションの評価指標は重要ですが、十分に検討されていません。
BLEU、METEOR、CIDEr、ROUGE などの従来のメトリクスはセマンティックの深さを見逃すことがよくありますが、CLIP-Score、PAC-S、Polos などのトレーニング済みメトリクスはゼロショット シナリオで制限されます。
高度な言語モデルベースの指標も、人間の微妙な好みに合わせるのが困難です。
これらの問題に対処するために、G-VEval を導入します。これは、G-Eval からインスピレーションを受け、新しい GPT-4o を利用した新しい指標です。
G-VEval は大規模なマルチモーダル モデルで思考連鎖推論を使用し、参照フリー、参照のみ、結合の 3 つのモードをサポートし、ビデオと画像の両方の入力に対応します。
また、人間の専門家と評価指標の両方について、より透明性が高く一貫性のあるフレームワークを確立するために、ビデオキャプション評価用の新しいデータセットである MSVD-Eval を提案します。
これは、正確性、完全性、簡潔性、関連性 (ACCR) という明確な次元を導入することで、既存のデータセットに明確な基準がないことに対処するように設計されています。
Kendall tau-b および Kendall tau-c によって測定されたように、人間によるアノテーションとの相関において、G-VEval が既存の方法よりも優れた結果を示した広範な結果が示されています。
これは、多様なキャプション タスクに柔軟なソリューションを提供し、大規模な言語モデルがビデオ コンテンツを理解するための単純かつ効果的なアプローチを提案し、自動キャプションの進歩への道を開きます。
コードは https://github.com/ztangaj/gveval で入手できます。

要約(オリジナル)

Evaluation metric of visual captioning is important yet not thoroughly explored. Traditional metrics like BLEU, METEOR, CIDEr, and ROUGE often miss semantic depth, while trained metrics such as CLIP-Score, PAC-S, and Polos are limited in zero-shot scenarios. Advanced Language Model-based metrics also struggle with aligning to nuanced human preferences. To address these issues, we introduce G-VEval, a novel metric inspired by G-Eval and powered by the new GPT-4o. G-VEval uses chain-of-thought reasoning in large multimodal models and supports three modes: reference-free, reference-only, and combined, accommodating both video and image inputs. We also propose MSVD-Eval, a new dataset for video captioning evaluation, to establish a more transparent and consistent framework for both human experts and evaluation metrics. It is designed to address the lack of clear criteria in existing datasets by introducing distinct dimensions of Accuracy, Completeness, Conciseness, and Relevance (ACCR). Extensive results show that G-VEval outperforms existing methods in correlation with human annotations, as measured by Kendall tau-b and Kendall tau-c. This provides a flexible solution for diverse captioning tasks and suggests a straightforward yet effective approach for large language models to understand video content, paving the way for advancements in automated captioning. Codes are available at https://github.com/ztangaj/gveval

arxiv情報

提供元, 利用サービス

arxiv.jp, Google