Beyond Coarse-Grained Matching in Video-Text Retrieval

要約

ビデオテキストの検索は大幅に進歩しましたが、キャプションの微妙な違いを識別するモデルの能力にはまだ検証が必要です。
本稿では、きめ細かい評価のための新しいアプローチを紹介します。
私たちのアプローチは、名詞、動詞、形容詞、副詞、前置詞にわたる単一単語の微妙な変化を含むハード ネガティブ テスト キャプションを自動的に生成することで、既存のデータセットに適用できます。
私たちは、2 つの標準ベンチマーク (MSR-VTT および VATEX) にわたる 4 つの最先端のモデルと、詳細な説明が充実した 2 つの特別に厳選されたデータセット (VLN-UVO および VLN-OOPS) を使用して包括的な実験を実行し、その結果、多数の新しい結果が得られます。
洞察: 1) 私たちの分析は、現在の評価ベンチマークが、単一単語の微妙な違いを認識するモデルの能力を検出するのに不十分であることを示しています、2) 私たちのきめの細かい評価は、そのような微妙な違いを区別する際にモデルが直面する困難を浮き彫りにします。
詳細な理解を強化するために、現在の方法と簡単に組み合わせることができる新しいベースラインを提案します。
詳細な評価に関する実験では、このアプローチにより、モデルの詳細な違いを理解する能力が強化されることが実証されています。

要約(オリジナル)

Video-text retrieval has seen significant advancements, yet the ability of models to discern subtle differences in captions still requires verification. In this paper, we introduce a new approach for fine-grained evaluation. Our approach can be applied to existing datasets by automatically generating hard negative test captions with subtle single-word variations across nouns, verbs, adjectives, adverbs, and prepositions. We perform comprehensive experiments using four state-of-the-art models across two standard benchmarks (MSR-VTT and VATEX) and two specially curated datasets enriched with detailed descriptions (VLN-UVO and VLN-OOPS), resulting in a number of novel insights: 1) our analyses show that the current evaluation benchmarks fall short in detecting a model’s ability to perceive subtle single-word differences, 2) our fine-grained evaluation highlights the difficulty models face in distinguishing such subtle variations. To enhance fine-grained understanding, we propose a new baseline that can be easily combined with current methods. Experiments on our fine-grained evaluations demonstrate that this approach enhances a model’s ability to understand fine-grained differences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google