Clover: Towards A Unified Video-Language Alignment and Fusion Model

要約

さまざまなビデオ理解タスク (\emph{e.g.}、テキストビデオ検索、ビデオ質問応答) を解決するための普遍的なビデオ言語モデルを構築することは、機械学習分野にとって未解決の課題です。
この目標に向けて、最近の研究では、ユニモーダルおよびクロスモーダルの特徴エンコーダーを積み重ねてモデルを構築し、ペアごとの対照的なプレテキスト タスクでトレーニングします。
結果として得られるモデルは、魅力的な一般性を提供しますが、効率とパフォーマンスの間で妥協する必要があります。
ほとんどの場合、さまざまなダウンストリーム タスクを処理するためにさまざまなアーキテクチャを採用しています。
これは、ペアワイズ トレーニングが異なるモダリティからの \emph{align} および \emph{fuse} 機能を十分に活用できないためです。
次に、\textbf{Clover}\textemdash 相関ビデオ言語事前トレーニング メソッド\textemdash を、パフォーマンスや効率を犠牲にすることなく複数のビデオ理解タスクを解決するためのユニバーサル ビデオ言語モデルに導入します。
これは、新しいトライモーダル アラインメントの事前トレーニング タスクを介して、クロスモーダル機能のアラインメントと融合を改善します。
さらに、セマンティックマスクされたサンプルからの学習と新しいペアワイズランキング損失を組み込むことにより、トライモーダルアライメントを強化することを提案します。
Clover は、複数のダウンストリーム タスクで新しい最先端技術を確立します。これには、ゼロ ショット設定と微調整設定の両方に対する 3 つの検索タスクと、8 つのビデオ質問応答タスクが含まれます。
コードと事前トレーニング済みのモデルは、\url{https://github.com/LeeYN-43/Clover} でリリースされます。

要約(オリジナル)

Building a universal Video-Language model for solving various video understanding tasks (\emph{e.g.}, text-video retrieval, video question answering) is an open challenge to the machine learning field. Towards this goal, most recent works build the model by stacking uni-modal and cross-modal feature encoders and train it with pair-wise contrastive pre-text tasks. Though offering attractive generality, the resulted models have to compromise between efficiency and performance. They mostly adopt different architectures to deal with different downstream tasks. We find this is because the pair-wise training cannot well \emph{align} and \emph{fuse} features from different modalities. We then introduce \textbf{Clover}\textemdash a Correlated Video-Language pre-training method\textemdash towards a universal Video-Language model for solving multiple video understanding tasks with neither performance nor efficiency compromise. It improves cross-modal feature alignment and fusion via a novel tri-modal alignment pre-training task. Additionally, we propose to enhance the tri-modal alignment via incorporating learning from semantic masked samples and a new pair-wise ranking loss. Clover establishes new state-of-the-arts on multiple downstream tasks, including three retrieval tasks for both zero-shot and fine-tuning settings, and eight video question answering tasks. Codes and pre-trained models will be released at \url{https://github.com/LeeYN-43/Clover}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google