SiT-MLP: A Simple MLP with Point-wise Topology Feature Learning for Skeleton-based Action Recognition

要約

グラフ畳み込みネットワーク (GCN) は、スケルトンベースのアクション認識において顕著なパフォーマンスを達成しました。
しかし、これまでの GCN ベースの手法は人間による精緻な事前分布に過度に依存しており、複雑な特徴集約メカニズムを構築しているため、ネットワークの一般化性と有効性が制限されています。
これらの問題を解決するために、我々は、すべてのジョイントにわたる空間依存性をエンコードする共起トポロジー特徴を捕捉するために、余分な事前分布を持たない MLP ベースのバリアントである新しい空間トポロジー ゲーティング ユニット (STGU) を提案します。
STGU では、ポイント単位のトポロジ特徴を学習するために、入力サンプルから生成されたアテンション マップによって特徴をポイントツーポイントでアクティブ化する新しいゲートベースの特徴相互作用メカニズムが導入されています。
STGUに基づいて、この研究ではスケルトンベースの行動認識のための最初のMLPベースのモデルSiT-MLPを提案します。
3 つの大規模データセットに対する以前の手法と比較して、SiT-MLP は競争力のあるパフォーマンスを達成します。
さらに、SiT-MLP はパラメータを大幅に削減し、良好な結果をもたらします。
コードは https://github.com/BUPTSJZhang/SiT?MLP で入手できます。

要約(オリジナル)

Graph convolution networks (GCNs) have achieved remarkable performance in skeleton-based action recognition. However, previous GCN-based methods rely on elaborate human priors excessively and construct complex feature aggregation mechanisms, which limits the generalizability and effectiveness of networks. To solve these problems, we propose a novel Spatial Topology Gating Unit (STGU), an MLP-based variant without extra priors, to capture the co-occurrence topology features that encode the spatial dependency across all joints. In STGU, to learn the point-wise topology features, a new gate-based feature interaction mechanism is introduced to activate the features point-to-point by the attention map generated from the input sample. Based on the STGU, we propose the first MLP-based model, SiT-MLP, for skeleton-based action recognition in this work. Compared with previous methods on three large-scale datasets, SiT-MLP achieves competitive performance. In addition, SiT-MLP reduces the parameters significantly with favorable results. The code will be available at https://github.com/BUPTSJZhang/SiT?MLP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google