Dual-Modal Attention-Enhanced Text-Video Retrieval with Triplet Partial Margin Contrastive Learning

要約

近年、Web ビデオの爆発的な増加により、ビデオのフィルタリング、推奨、検索においてテキストビデオの検索がますます不可欠になり、一般的になってきています。
テキストとビデオの検索は、関連性のあるテキスト/ビデオを無関係なものよりも上位にランク付けすることを目的としています。
このタスクの核心は、テキストとビデオ間のクロスモーダル類似性を正確に測定することです。
最近、対照的な学習方法がテキストとビデオの検索に有望な結果を示しており、そのほとんどはテキストとビデオの表現を学習するための正と負のペアの構築に焦点を当てています。
それにもかかわらず、それらはハードネガティブペアに十分な注意を払っておらず、さまざまなレベルの意味的類似性をモデル化する能力がありません。
これら 2 つの問題に対処するために、この論文では 2 つの新しい手法を使用して対照学習を改善します。
まず、堅牢な識別力を得るためにハード サンプルを活用するために、テキストおよび視覚的な手がかりからハード ネガティブ ペアをマイニングする新しいデュアルモーダル注意強化モジュール (DMAE) を提案します。
さらにネガティブ認識 InfoNCE (NegNCE) 損失を導入することで、これらすべてのハード ネガティブを適応的に特定し、トレーニング損失におけるそれらの影響を明示的に強調表示することができます。
第 2 に、私たちの研究は、ペアごとのサンプルと比較して、トリプレット サンプルの方が、きめの細かい意味論的類似性をより適切にモデル化できることを主張しています。
したがって、一致するテキストとビデオのペアに対してきめの細かいハードネガを自動的に生成することにより、部分順序トリプレット サンプルを構築するための新しいトリプレット部分マージン対比学習 (TPM-CL) モジュールを紹介します。
提案された TPM-CL は、微妙なセマンティクスの違いをモデル化するために、クロスモーダル相互作用を備えた適応型トークン マスキング戦略を設計します。
広範な実験により、提案されたアプローチが、MSR-VTT、MSVD、DiDeMo、ActivityNet を含む 4 つの広く使用されているテキストビデオ検索データセットに対する既存の方法よりも優れたパフォーマンスを発揮することが実証されました。

要約(オリジナル)

In recent years, the explosion of web videos makes text-video retrieval increasingly essential and popular for video filtering, recommendation, and search. Text-video retrieval aims to rank relevant text/video higher than irrelevant ones. The core of this task is to precisely measure the cross-modal similarity between texts and videos. Recently, contrastive learning methods have shown promising results for text-video retrieval, most of which focus on the construction of positive and negative pairs to learn text and video representations. Nevertheless, they do not pay enough attention to hard negative pairs and lack the ability to model different levels of semantic similarity. To address these two issues, this paper improves contrastive learning using two novel techniques. First, to exploit hard examples for robust discriminative power, we propose a novel Dual-Modal Attention-Enhanced Module (DMAE) to mine hard negative pairs from textual and visual clues. By further introducing a Negative-aware InfoNCE (NegNCE) loss, we are able to adaptively identify all these hard negatives and explicitly highlight their impacts in the training loss. Second, our work argues that triplet samples can better model fine-grained semantic similarity compared to pairwise samples. We thereby present a new Triplet Partial Margin Contrastive Learning (TPM-CL) module to construct partial order triplet samples by automatically generating fine-grained hard negatives for matched text-video pairs. The proposed TPM-CL designs an adaptive token masking strategy with cross-modal interaction to model subtle semantic differences. Extensive experiments demonstrate that the proposed approach outperforms existing methods on four widely-used text-video retrieval datasets, including MSR-VTT, MSVD, DiDeMo and ActivityNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google