Disentangling Spatial and Temporal Learning for Efficient Image-to-Video Transfer Learning

要約

最近、CLIP のような大規模な事前トレーニング済み言語画像モデルは、空間コンテンツを理解するための並外れた能力を示していますが、そのようなモデルを単純にビデオ認識に転送すると、依然として不十分な時間モデリング能力に悩まされます。
既存の方法では、調整可能な構造を事前トレーニング済みモデルに、または事前トレーニング済みモデルと並行して挿入しますが、これには事前トレーニング済みモデル全体に​​わたる逆伝播が必要であり、リソースを大量に消費するか、事前トレーニング済み構造の時間的推論能力によって制限されます。
。
この研究では、ビデオの空間的および時間的側面の学習を解きほぐす DiST を紹介します。
具体的には、DiST はデュアル エンコーダ構造を使用しており、事前トレーニングされた基礎モデルが空間エンコーダとして機能し、軽量ネットワークが時間エンコーダとして導入されています。
時空間情報を融合するために、エンコーダ間に統合ブランチが挿入されます。
DiST での解きほぐされた空間的および時間的学習は、事前にトレーニングされた大量のパラメーターの逆伝播を回避するため、非常に効率的です。
一方、私たちは、統合のための追加ネットワークを使用した解きほぐされた学習が、空間的理解と時間的理解の両方に利益をもたらすことを経験的に示しています。
5 つのベンチマークに関する広範な実験により、DiST はギャップを納得させることで、既存の最先端の手法よりも優れたパフォーマンスを実現できることがわかりました。
大規模な Kinetics-710 で事前トレーニングした場合、凍結した ViT-L モデルを使用した Kinetics-400 で 89.7% を達成し、DiST のスケーラビリティを検証しました。
コードとモデルは https://github.com/alibaba-mmai-research/DiST にあります。

要約(オリジナル)

Recently, large-scale pre-trained language-image models like CLIP have shown extraordinary capabilities for understanding spatial contents, but naively transferring such models to video recognition still suffers from unsatisfactory temporal modeling capabilities. Existing methods insert tunable structures into or in parallel with the pre-trained model, which either requires back-propagation through the whole pre-trained model and is thus resource-demanding, or is limited by the temporal reasoning capability of the pre-trained structure. In this work, we present DiST, which disentangles the learning of spatial and temporal aspects of videos. Specifically, DiST uses a dual-encoder structure, where a pre-trained foundation model acts as the spatial encoder, and a lightweight network is introduced as the temporal encoder. An integration branch is inserted between the encoders to fuse spatio-temporal information. The disentangled spatial and temporal learning in DiST is highly efficient because it avoids the back-propagation of massive pre-trained parameters. Meanwhile, we empirically show that disentangled learning with an extra network for integration benefits both spatial and temporal understanding. Extensive experiments on five benchmarks show that DiST delivers better performance than existing state-of-the-art methods by convincing gaps. When pre-training on the large-scale Kinetics-710, we achieve 89.7% on Kinetics-400 with a frozen ViT-L model, which verifies the scalability of DiST. Codes and models can be found in https://github.com/alibaba-mmai-research/DiST.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google