VCRScore: Image captioning metric based on V\&L Transformers, CLIP, and precision-recall

要約

画像キャプションは、本質的なビジョンと言語研究のタスクになっています。
特定の画像またはビデオを考慮して、最も正確なキャプションを予測することです。
研究コミュニティは、モデル全体のパフォーマンスを改善するために新しいモデルとアプローチを継続的に提案することにより、印象的な結果を達成しました。
それにもかかわらず、提案が増えているにもかかわらず、その進歩を測定するために使用されるパフォーマンスメトリックは、長年にわたって実質的に手つかずのままでした。
BLEU、Meteor、Cider、Rougeなどのメトリックは、BertscoreやClipscoreなどのより洗練されたメトリックを除いて、依然として非常に使用されています。
したがって、新しい画像キャプション提案の進歩、制限、およびスコープを測定する方法を調整し、これらの新しい高度な画像キャプションアプローチに新しいメトリックを適合させることが不可欠です。
この作業は、画像キャプションの問題の新しい評価メトリックを提案しています。
それを行うために、最初に、キャプションが画像のコンテンツとどの程度相関するかを評価するために、ヒト標識データセットが生成されました。
これらの人間のスコアを基本的な真理として、新しいメトリックを提案し、クラシックから新しいメトリックから新しいメトリックと比較します。
アウトパフォームの結果も発見され、興味深い洞察が提示され、議論されました。

要約(オリジナル)

Image captioning has become an essential Vision & Language research task. It is about predicting the most accurate caption given a specific image or video. The research community has achieved impressive results by continuously proposing new models and approaches to improve the overall model’s performance. Nevertheless, despite increasing proposals, the performance metrics used to measure their advances have remained practically untouched through the years. A probe of that, nowadays metrics like BLEU, METEOR, CIDEr, and ROUGE are still very used, aside from more sophisticated metrics such as BertScore and ClipScore. Hence, it is essential to adjust how are measure the advances, limitations, and scopes of the new image captioning proposals, as well as to adapt new metrics to these new advanced image captioning approaches. This work proposes a new evaluation metric for the image captioning problem. To do that, first, it was generated a human-labeled dataset to assess to which degree the captions correlate with the image’s content. Taking these human scores as ground truth, we propose a new metric, and compare it with several well-known metrics, from classical to newer ones. Outperformed results were also found, and interesting insights were presented and discussed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google