Multimodal Video Adapter for Parameter Efficient Video Text Retrieval

要約

最先端のビデオテキスト検索 (VTR) メソッドは通常、特定のデータセットで事前トレーニング済みのモデル (CLIP など) を完全に微調整しますが、タスクごとに個別のモデルが必要になるため、実際のアプリケーションではかなりのストレージ コストがかかる可能性があります。
保管する。
この問題を克服するために、事前にトレーニングされたモデルからパラメーター効率の高い VTR を実行するための優れた作業を提示します。
この目標に向けて、事前にトレーニングされた CLIP の知識を画像テキストからビデオ テキストに効率的に転送するためのマルチモーダル ビデオ アダプター (MV-Adapter) と呼ばれる新しい方法を提案します。
具体的には、MV-Adapter はビデオ ブランチとテキスト ブランチの両方でボトルネック構造を採用し、2 つの新しいコンポーネントを導入します。
1 つ目は、グローバルおよびローカルの時間的コンテキストを挿入するためにビデオ ブランチで採用されている時間的適応モジュールです。
また、フレーム全体の動的変動に適応するための重みのキャリブレーションも学習します。
2 つ目は、モダリティ間の調整を改善するために、共有パラメーター スペースを介してビデオ/テキスト ブランチの重みを生成するクロスモーダル インタラクション モジュールです。
上記のイノベーションのおかげで、MV-Adapter は無視できるパラメーターのオーバーヘッドで、標準の微調整よりも同等またはそれ以上のパフォーマンスを達成できます。
特に、広く使用されている 5 つの VTR ベンチマーク (MSR-VTT、MSVD、LSMDC、DiDemo、および ActivityNet) で、MV-Adapter は、V2T/T2V タスクでさまざまな競合する方法よりも大きなマージンで一貫して優れています。
コードが公開されます。

要約(オリジナル)

State-of-the-art video-text retrieval (VTR) methods usually fully fine-tune the pre-trained model (e.g. CLIP) on specific datasets, which may suffer from substantial storage costs in practical applications since a separate model per task needs to be stored. To overcome this issue, we present the premier work on performing parameter-efficient VTR from the pre-trained model, i.e., only a small number of parameters are tunable while freezing the backbone. Towards this goal, we propose a new method dubbed Multimodal Video Adapter (MV-Adapter) for efficiently transferring the knowledge in the pre-trained CLIP from image-text to video-text. Specifically, MV-Adapter adopts bottleneck structures in both video and text branches and introduces two novel components. The first is a Temporal Adaptation Module employed in the video branch to inject global and local temporal contexts. We also learn weights calibrations to adapt to the dynamic variations across frames. The second is a Cross-Modal Interaction Module that generates weights for video/text branches through a shared parameter space, for better aligning between modalities. Thanks to above innovations, MV-Adapter can achieve on-par or better performance than standard fine-tuning with negligible parameters overhead. Notably, on five widely used VTR benchmarks (MSR-VTT, MSVD, LSMDC, DiDemo, and ActivityNet), MV-Adapter consistently outperforms various competing methods in V2T/T2V tasks with large margins. Codes will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google