Learning text-to-video retrieval from image captioning

要約

ラベルのないビデオを使用したテキストからビデオへの検索トレーニングを研究するためのプロトコルについて説明します。ここでは、(i) どのビデオのラベルにもアクセスできない、つまり、一連のグラウンドトゥルース キャプションにもアクセスできないが、(ii) にはアクセスできると仮定します。
テキスト形式のラベル付き画像。
高価なビデオラベル付けスキームとは対照的に、画像に注釈を付ける方が安価であるためスケーラブルであることを考慮すると、画像エキスパート モデルを使用するのが現実的なシナリオです。
最近、CLIP などのゼロショット画像の専門家が、ビデオ理解タスクのための新しい強力なベースラインを確立しました。
この論文では、この進歩を利用して、2 種類のモデルから画像エキスパートをインスタンス化します。1 つは初期バックボーンを提供するテキストから画像への検索モデル、もう 1 つはラベルのないビデオに監視信号を提供する画像キャプション モデルです。
ビデオフレームに画像キャプションを自動的に付けることで、テキストからビデオへの検索トレーニングが可能になることを示します。
このプロセスは、手動によるアノテーションのコストをかけずに機能をターゲット ドメインに適応させるため、強力なゼロショット CLIP ベースラインを上回るパフォーマンスを発揮します。
トレーニング中に、ビジュアル コンテンツに最もよく一致する複数のビデオ フレームからキャプションをサンプリングし、各キャプションとの関連性に応じてフレームをスコアリングすることにより、フレーム表現に対して一時的なプーリングを実行します。
当社では広範なアブレーションを実施して洞察を提供し、3 つの標準データセット (ActivityNet、MSR-VTT、MSVD) でのテキストからビデオへの検索で CLIP ゼロショット ベースラインを上回るパフォーマンスを発揮することで、このシンプルなフレームワークの有効性を実証します。

要約(オリジナル)

We describe a protocol to study text-to-video retrieval training with unlabeled videos, where we assume (i) no access to labels for any videos, i.e., no access to the set of ground-truth captions, but (ii) access to labeled images in the form of text. Using image expert models is a realistic scenario given that annotating images is cheaper therefore scalable, in contrast to expensive video labeling schemes. Recently, zero-shot image experts such as CLIP have established a new strong baseline for video understanding tasks. In this paper, we make use of this progress and instantiate the image experts from two types of models: a text-to-image retrieval model to provide an initial backbone, and image captioning models to provide supervision signal into unlabeled videos. We show that automatically labeling video frames with image captioning allows text-to-video retrieval training. This process adapts the features to the target domain at no manual annotation cost, consequently outperforming the strong zero-shot CLIP baseline. During training, we sample captions from multiple video frames that best match the visual content, and perform a temporal pooling over frame representations by scoring frames according to their relevance to each caption. We conduct extensive ablations to provide insights and demonstrate the effectiveness of this simple framework by outperforming the CLIP zero-shot baselines on text-to-video retrieval on three standard datasets, namely ActivityNet, MSR-VTT, and MSVD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google