Snakes and Ladders: Two Steps Up for VideoMamba

要約

ビデオを理解するには、豊かな時空間表現を抽出する必要があります。これは、トランスフォーマー モデルが自己注意を通じて実現します。
残念ながら、自分自身に注意を向けると計算上の負担が生じます。
NLP では、Mamba がトランスフォーマーの効率的な代替手段として浮上しています。
ただし、Mamba の成功は、ビデオ分析などの視覚タスクに簡単に及ぶわけではありません。
この論文では、自注意とマンバの違いを理論的に分析します。
私たちは、Mamba のトークン処理における 2 つの制限、つまり歴史的衰退と要素の矛盾を特定します。
我々は、マスクされた逆方向計算と要素残差接続を VideoMamba バックボーンに追加することで、特定された制限を解決する VideoMambaPro (VMP) を提案します。
サイズの異なる VideoMambaPro モデルは、Kinetics-400 と Something-Something V2 でそれぞれ VideoMamba を 1.6 ～ 2.8% と 1.1 ～ 1.9% 上回っています。
大規模な事前トレーニングがなくても、当社のモデルは、変流器モデルに代わるますます魅力的で効率的な代替手段を提供します。
さらに、当社の 2 つのソリューションは、Vision Mamba モデルの最近の進歩と直交しており、将来のモデルでさらなる改善がもたらされる可能性があります。

要約(オリジナル)

Video understanding requires the extraction of rich spatio-temporal representations, which transformer models achieve through self-attention. Unfortunately, self-attention poses a computational burden. In NLP, Mamba has surfaced as an efficient alternative for transformers. However, Mamba’s successes do not trivially extend to vision tasks, including those in video analysis. In this paper, we theoretically analyze the differences between self-attention and Mamba. We identify two limitations in Mamba’s token processing: historical decay and element contradiction. We propose VideoMambaPro (VMP) that solves the identified limitations by adding masked backward computation and elemental residual connections to a VideoMamba backbone. Differently sized VideoMambaPro models surpass VideoMamba by 1.6-2.8% and 1.1-1.9% top-1 on Kinetics-400 and Something-Something V2, respectively. Even without extensive pre-training, our models present an increasingly attractive and efficient alternative to current transformer models. Moreover, our two solutions are orthogonal to recent advances in Vision Mamba models, and are likely to provide further improvements in future models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google