VideoPrism: A Foundational Visual Encoder for Video Understanding

要約

単一のフリーズされたモデルで多様なビデオ理解タスクに取り組む汎用ビデオ エンコーダーである VideoPrism を紹介します。
私たちは、3,600 万の高品質ビデオキャプションのペアと、ノイズの多い並列テキスト (ASR トランスクリプトなど) を含む 5 億 8,200 万のビデオ クリップを含む異種コーパスで VideoPrism を事前トレーニングします。
事前トレーニング アプローチは、セマンティック ビデオ埋め込みのグローバル ローカル蒸留とトークン シャッフル スキームによってマスクされた自動エンコーディングを改善し、VideoPrism がビデオに関連付けられた貴重なテキストを活用しながら主にビデオ モダリティに焦点を当てることを可能にします。
私たちは、Web ビデオの質問応答から科学の履歴書まで、4 つの広範なビデオ理解タスク グループで VideoPrism を広範囲にテストし、33 のビデオ理解ベンチマークのうち 30 で最先端のパフォーマンスを達成しました。

要約(オリジナル)

We introduce VideoPrism, a general-purpose video encoder that tackles diverse video understanding tasks with a single frozen model. We pretrain VideoPrism on a heterogeneous corpus containing 36M high-quality video-caption pairs and 582M video clips with noisy parallel text (e.g., ASR transcripts). The pretraining approach improves upon masked autoencoding by global-local distillation of semantic video embeddings and a token shuffling scheme, enabling VideoPrism to focus primarily on the video modality while leveraging the invaluable text associated with videos. We extensively test VideoPrism on four broad groups of video understanding tasks, from web video question answering to CV for science, achieving state-of-the-art performance on 30 out of 33 video understanding benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google