Video-FocalNets: Spatio-Temporal Focal Modulation for Video Action Recognition

要約

最近のビデオ認識モデルは、長距離の時空間コンテキスト モデリングに Transformer モデルを利用しています。
ビデオ トランスフォーマーの設計は、高い計算コストでグローバル コンテキストをモデル化できる自己注意に基づいています。
比較すると、ビデオの畳み込み設計は効率的な代替手段を提供しますが、長距離の依存関係モデリングが欠けています。
両方の設計の長所を実現するために、この研究では、ローカルとグローバルの両方のコンテキストをモデル化するビデオ認識のための効果的かつ効率的なアーキテクチャである Video-FocalNet を提案します。
Video-FocalNet は、効率を高めるために自己注意の相互作用と集約のステップを逆転させる時空間焦点変調アーキテクチャに基づいています。
さらに、集約ステップと対話ステップは両方とも、ビデオ表現上のセルフアテンションの対応物よりも計算コストが低い、効率的な畳み込みおよび要素ごとの乗算演算を使用して実装されます。
私たちは、焦点変調ベースの時空間コンテキスト モデリングの設計空間を広範囲に調査し、並列時空間符号化設計が最適な選択であることを実証します。
Video-FocalNet は、5 つの大規模データセット (Kinetics-400、Kinetics-600、SS-v2、Diving-48、および ActivityNet-1.3) 上のビデオ認識用の最先端のトランスフォーマー ベースのモデルに対して良好なパフォーマンスを示します。
より低い計算コストで。
私たちのコード/モデルは https://github.com/TalalWasim/Video-FocalNets でリリースされています。

要約(オリジナル)

Recent video recognition models utilize Transformer models for long-range spatio-temporal context modeling. Video transformer designs are based on self-attention that can model global context at a high computational cost. In comparison, convolutional designs for videos offer an efficient alternative but lack long-range dependency modeling. Towards achieving the best of both designs, this work proposes Video-FocalNet, an effective and efficient architecture for video recognition that models both local and global contexts. Video-FocalNet is based on a spatio-temporal focal modulation architecture that reverses the interaction and aggregation steps of self-attention for better efficiency. Further, the aggregation step and the interaction step are both implemented using efficient convolution and element-wise multiplication operations that are computationally less expensive than their self-attention counterparts on video representations. We extensively explore the design space of focal modulation-based spatio-temporal context modeling and demonstrate our parallel spatial and temporal encoding design to be the optimal choice. Video-FocalNets perform favorably well against the state-of-the-art transformer-based models for video recognition on five large-scale datasets (Kinetics-400, Kinetics-600, SS-v2, Diving-48, and ActivityNet-1.3) at a lower computational cost. Our code/models are released at https://github.com/TalalWasim/Video-FocalNets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google