MLP-3D: A MLP-like 3D Architecture with Grouped Time Mixing

要約

畳み込みニューラルネットワーク（CNN）は、視覚認識の頼りになるモデルと見なされてきました。
最近では、マルチヘッドセルフアテンション（MSA）または多層パーセプトロン（MLP）に基づく畳み込みのないネットワークがますます一般的になっています。
それにもかかわらず、ビデオデータの大きな変動と複雑さのために、ビデオ認識のためにこれらの新しく造られたネットワークを利用するとき、それは些細なことではありません。
この論文では、ビデオ認識のための新しいMLPのような3DアーキテクチャであるMLP-3Dネットワークを紹介します。
具体的には、アーキテクチャはMLP-3Dブロックで構成され、各ブロックには、トークン全体に適用される1つのMLP（つまり、トークン混合MLP）と各トークンに個別に適用される1つのMLP（つまり、チャネルMLP）が含まれます。
新しいグループ化された時間混合（GTM）操作を導出することにより、基本的なトークン混合MLPに時間モデリングの機能を装備します。
GTMは、入力トークンをいくつかの時間グループに分割し、各グループのトークンを共有射影行列で線形にマッピングします。
さらに、異なるグループ化戦略を持つGTMのいくつかのバリアントを考案し、貪欲なアーキテクチャ検索によってMLP-3Dネットワークの異なるブロックで各バリアントを構成します。
畳み込みや注意メカニズムに依存することなく、MLP-3DネットワークはSomething-SomethingV2およびKinetics-400データセットでそれぞれ68.5\％/ 81.4 \％トップ1の精度を達成します。
計算数は少なくなりますが、結果は、広く使用されている最先端の3DCNNおよびビデオトランスフォーマーに匹敵します。
ソースコードはhttps://github.com/ZhaofanQiu/MLP-3Dで入手できます。

要約(オリジナル)

Convolutional Neural Networks (CNNs) have been regarded as the go-to models for visual recognition. More recently, convolution-free networks, based on multi-head self-attention (MSA) or multi-layer perceptrons (MLPs), become more and more popular. Nevertheless, it is not trivial when utilizing these newly-minted networks for video recognition due to the large variations and complexities in video data. In this paper, we present MLP-3D networks, a novel MLP-like 3D architecture for video recognition. Specifically, the architecture consists of MLP-3D blocks, where each block contains one MLP applied across tokens (i.e., token-mixing MLP) and one MLP applied independently to each token (i.e., channel MLP). By deriving the novel grouped time mixing (GTM) operations, we equip the basic token-mixing MLP with the ability of temporal modeling. GTM divides the input tokens into several temporal groups and linearly maps the tokens in each group with the shared projection matrix. Furthermore, we devise several variants of GTM with different grouping strategies, and compose each variant in different blocks of MLP-3D network by greedy architecture search. Without the dependence on convolutions or attention mechanisms, our MLP-3D networks achieves 68.5\%/81.4\% top-1 accuracy on Something-Something V2 and Kinetics-400 datasets, respectively. Despite with fewer computations, the results are comparable to state-of-the-art widely-used 3D CNNs and video transformers. Source code is available at https://github.com/ZhaofanQiu/MLP-3D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google