Towards Fast Adaptation of Pretrained Contrastive Models for Multi-channel Video-Language Retrieval

要約

マルチチャネルのビデオ言語検索では、モデルがさまざまなモダリティ（ビデオ+質問、ビデオ+音声など）からの情報と、ビデオをテキスト応答またはクエリに正しくリンクするための実際の知識を理解する必要があります。
幸いなことに、マルチモーダル対照モデルは、画像/ビデオおよびテキスト（CLIPなど）のエンティティを整列させるのに非常に効果的であることが示されています。
テキスト対照モデルは、SimCSEなどの識別可能な文の埋め込みを生成する強力な能力について最近広く研究されています。
それらの能力は、マルチチャネルのビデオ言語検索によって正確に必要とされます。
ただし、これら2行のモデルをマルチチャネルのビデオ言語検索スタイルのタスクにすばやく適応させる方法は明確ではありません。
この論文では、ビデオを表現する方法と、ビデオとテキストの情報を融合する方法の2つの軸を持つ原理的なモデル設計空間を特定します。
最近の方法の分類に基づいて、連続特徴ベクトルまたは離散テキストトークンを使用してビデオを表現するオプションを調査します。
融合法については、マルチモーダルトランスフォーマーまたは事前にトレーニングされた対照的なテキストモデルを検討します。
5つのビデオ言語データセットで4つの組み合わせを広範囲に評価します。
驚くべきことに、事前にトレーニングされた対照的なテキストモデルと組み合わせた個別のテキストトークンが最高のパフォーマンスをもたらすことがわかりました。
この組み合わせは、何百万ものビデオ言語データに関する追加のトレーニングなしで、iVQAデータセットの最先端を凌駕することさえできます。
さらなる分析によると、これは、ビデオをテキストトークンとして表すと、テキストモデルと自然に位置合わせされたテキストトークンを使用して主要な視覚情報がキャプチャされ、テキストモデルは対照的な事前トレーニングプロセス中に豊富な知識を取得したためです。
4つのバリアントについて得られたすべての経験的分析は、事前にトレーニングされた対照モデルの豊富な知識を活用することに関する将来の研究のための確固たる基盤を確立します。

要約(オリジナル)

Multi-channel video-language retrieval require models to understand information from different modalities (e.g. video+question, video+speech) and real-world knowledge to correctly link a video with a textual response or query. Fortunately, multimodal contrastive models have been shown to be highly effective at aligning entities in images/videos and text, e.g., CLIP; text contrastive models have been extensively studied recently for their strong ability of producing discriminative sentence embeddings, e.g., SimCSE. Their abilities are exactly needed by multi-channel video-language retrieval. However, it is not clear how to quickly adapt these two lines of models to multi-channel video-language retrieval-style tasks. In this paper, we identify a principled model design space with two axes: how to represent videos and how to fuse video and text information. Based on categorization of recent methods, we investigate the options of representing videos using continuous feature vectors or discrete text tokens; for the fusion method, we explore a multimodal transformer or a pretrained contrastive text model. We extensively evaluate the four combinations on five video-language datasets. We surprisingly find that discrete text tokens coupled with a pretrained contrastive text model yields the best performance. This combination can even outperform state-of-the-art on the iVQA dataset without the additional training on millions of video-language data. Further analysis shows that this is because representing videos as text tokens captures the key visual information with text tokens that are naturally aligned with text models and the text models obtained rich knowledge during contrastive pretraining process. All the empirical analysis we obtain for the four variants establishes a solid foundation for future research on leveraging the rich knowledge of pretrained contrastive models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google