COSA: Concatenated Sample Pretrained Vision-Language Foundation Model

要約

ビデオテキストトレーニングコーパスの規模と品質が限られているため、ほとんどの視覚言語基礎モデルは事前トレーニングに画像テキストデータセットを使用し、時間的な意味表現と相関を無視して視覚的な意味表現のモデリングに主に焦点を当てています。
この問題に対処するために、COSA (CONcatenated SAmple の事前トレーニング済み視覚言語基盤モデル) を提案します。
COSA は、画像とテキストのコーパスのみを使用して、ビジュアル コンテンツとイベント レベルの時間的手がかりを共同でモデル化します。
これは、複数の画像とテキストのペアを事前トレーニングの入力として順次連結することで実現します。
この変換により、既存の画像テキスト コーパスが擬似長編ビデオ段落コーパスに効果的に変換され、より豊富なシーン変換と明示的なイベント説明の対応が可能になります。
広範な実験により、COSA が、長文/短文のビデオ テキスト タスクや、検索、キャプション、質問応答などの画像テキスト タスクを含む、幅広い下流タスクにわたって一貫してパフォーマンスを向上させることが実証されています。
特に、COSA はさまざまな競争ベンチマークで最先端の結果を達成しています。
コードとモデルは https://github.com/TXH-mercury/COSA で公開されています。

要約(オリジナル)

Due to the limited scale and quality of video-text training corpus, most vision-language foundation models employ image-text datasets for pretraining and primarily focus on modeling visually semantic representations while disregarding temporal semantic representations and correlations. To address this issue, we propose COSA, a COncatenated SAmple pretrained vision-language foundation model. COSA jointly models visual contents and event-level temporal cues using only image-text corpora. We achieve this by sequentially concatenating multiple image-text pairs as inputs for pretraining. This transformation effectively converts existing image-text corpora into a pseudo long-form video-paragraph corpus, enabling richer scene transformations and explicit event-description correspondence. Extensive experiments demonstrate that COSA consistently improves performance across a broad range of downstream tasks, including long-form/short-form video-text tasks and image-text tasks such as retrieval, captioning, and question answering. Notably, COSA achieves state-of-the-art results on various competitive benchmarks. Code and model are released at https://github.com/TXH-mercury/COSA.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google